tokenization

[États-Unis]/ˌtəʊkənaɪˈzeɪʃən/
[Royaume-Uni]/ˌtoʊkənaɪˈzeɪʃən/

Traduction

n. le processus de décomposition d'un texte en éléments (tokens) tels que des mots ou des expressions.

Expressions & Collocations

tokenization process

processus de tokenisation

tokenization step

étape de tokenisation

tokenization method

méthode de tokenisation

tokenization task

tâche de tokenisation

tokenization error

erreur de tokenisation

tokenization tools

outils de tokenisation

tokenization stage

phase de tokenisation

tokenization library

bibliothèque de tokenisation

Phrases d'exemple

the initial step involves tokenization of the text data.

l'étape initiale consiste en la tokenisation des données textuelles.

tokenization allows for easier analysis of the document.

la tokenisation permet une analyse plus facile du document.

we performed tokenization using a standard library.

nous avons effectué la tokenisation à l'aide d'une bibliothèque standard.

effective tokenization is crucial for accurate nlp.

une tokenisation efficace est cruciale pour une NLP précise.

the algorithm relies on tokenization to identify keywords.

l'algorithme s'appuie sur la tokenisation pour identifier les mots clés.

tokenization helps in building a vocabulary for the model.

la tokenisation aide à construire un vocabulaire pour le modèle.

whitespace tokenization is a common approach.

la tokenisation par espaces est une approche courante.

subword tokenization addresses out-of-vocabulary words.

la tokenisation de sous-mots traite les mots hors vocabulaire.

regular expression tokenization provides more control.

la tokenisation par expressions régulières offre plus de contrôle.

the system uses tokenization to preprocess the input.

le système utilise la tokenisation pour prétraiter les entrées.

tokenization is a fundamental step in text processing.

la tokenisation est une étape fondamentale du traitement du texte.

we evaluated different tokenization strategies.

nous avons évalué différentes stratégies de tokenisation.

Mots populaires

Explorez le vocabulaire le plus recherché

Téléchargez l'application pour débloquer l'intégralité du contenu

Vous souhaitez apprendre du vocabulaire plus efficacement ? Téléchargez l'application DictoGo et profitez de plus de fonctionnalités de mémorisation et de révision du vocabulaire !

Téléchargez DictoGo maintenant