tokenizer

[Stati Uniti]/ˈtəʊkənaɪzə/
[Regno Unito]/ˈtoʊkənaɪzər/

Traduzione

n. un programma o uno strumento che suddivide il testo in token, come parole o frasi

Frasi & Collocazioni

tokenizer input

input del tokenizer

using a tokenizer

usando un tokenizer

tokenizer output

output del tokenizer

tokenizer library

libreria del tokenizer

tokenizer function

funzione del tokenizer

tokenizer class

classe del tokenizer

tokenizer method

metodo del tokenizer

custom tokenizer

tokenizer personalizzato

Frasi di Esempio

we used a fast tokenizer for efficient text processing.

Abbiamo utilizzato un tokenizer veloce per un'elaborazione efficiente del testo.

the tokenizer splits the text into individual tokens.

Il tokenizer divide il testo in token individuali.

a subword tokenizer handles rare words effectively.

Un tokenizer di sottoparole gestisce efficacemente le parole rare.

the character tokenizer is simple but less effective.

Il tokenizer di caratteri è semplice ma meno efficace.

we need a robust tokenizer for our nlp pipeline.

Abbiamo bisogno di un tokenizer robusto per la nostra pipeline di elaborazione del linguaggio naturale.

the sentence tokenizer separates sentences accurately.

Il tokenizer di frasi separa le frasi in modo accurato.

the word tokenizer is a common starting point.

Il tokenizer di parole è un punto di partenza comune.

we compared different tokenizers for optimal performance.

Abbiamo confrontato diversi tokenizer per prestazioni ottimali.

the tokenizer’s output is used for feature extraction.

L'output del tokenizer viene utilizzato per l'estrazione delle caratteristiche.

regular expressions can be used to define a custom tokenizer.

Le espressioni regolari possono essere utilizzate per definire un tokenizer personalizzato.

Parole Popolari

Esplora il vocabolario più cercato

Scarica l'app per sbloccare tutti i contenuti

Vuoi imparare il vocabolario in modo più efficiente? Scarica l'app DictoGo e scopri altre funzionalità per memorizzare e ripassare il vocabolario!

Scarica DictoGo ora