tokenizer

[États-Unis]/ˈtəʊkənaɪzə/
[Royaume-Uni]/ˈtoʊkənaɪzər/

Traduction

n. a program or tool that breaks text into tokens, such as words or phrases
n. un programme ou un outil qui décompose le texte en jetons, tels que des mots ou des expressions.

Expressions & Collocations

tokenizer input

tokenizer input

using a tokenizer

en utilisant un tokenizer

tokenizer output

sortie du tokenizer

tokenizer library

bibliothèque de tokenizer

tokenizer function

fonction de tokenizer

tokenizer class

classe de tokenizer

tokenizer method

méthode de tokenizer

custom tokenizer

tokenizer personnalisé

Phrases d'exemple

we used a fast tokenizer for efficient text processing.

Nous avons utilisé un tokenizer rapide pour un traitement efficace du texte.

the tokenizer splits the text into individual tokens.

Le tokenizer divise le texte en jetons individuels.

a subword tokenizer handles rare words effectively.

Un tokenizer de sous-mots gère efficacement les mots rares.

the character tokenizer is simple but less effective.

Le tokenizer de caractères est simple mais moins efficace.

we need a robust tokenizer for our nlp pipeline.

Nous avons besoin d'un tokenizer robuste pour notre pipeline NLP.

the sentence tokenizer separates sentences accurately.

Le tokenizer de phrases sépare les phrases avec précision.

the word tokenizer is a common starting point.

Le tokenizer de mots est un point de départ courant.

we compared different tokenizers for optimal performance.

Nous avons comparé différents tokenizers pour des performances optimales.

the tokenizer’s output is used for feature extraction.

La sortie du tokenizer est utilisée pour l'extraction de caractéristiques.

regular expressions can be used to define a custom tokenizer.

Les expressions régulières peuvent être utilisées pour définir un tokenizer personnalisé.

Mots populaires

Explorez le vocabulaire le plus recherché

Téléchargez l'application pour débloquer l'intégralité du contenu

Vous souhaitez apprendre du vocabulaire plus efficacement ? Téléchargez l'application DictoGo et profitez de plus de fonctionnalités de mémorisation et de révision du vocabulaire !

Téléchargez DictoGo maintenant