tokenization

[US]/ˌtəʊkənaɪˈzeɪʃən/
[UK]/ˌtoʊkənaɪˈzeɪʃən/

Translation

n. il processo di suddividere il testo in token come parole o frasi

Phrases & Collocations

tokenization process

processo di tokenizzazione

tokenization step

passo di tokenizzazione

tokenization method

metodo di tokenizzazione

tokenization task

attività di tokenizzazione

tokenization error

errore di tokenizzazione

tokenization tools

strumenti di tokenizzazione

tokenization stage

fase di tokenizzazione

tokenization library

libreria di tokenizzazione

Example Sentences

the initial step involves tokenization of the text data.

il passo iniziale prevede la tokenizzazione dei dati di testo.

tokenization allows for easier analysis of the document.

la tokenizzazione consente un'analisi più semplice del documento.

we performed tokenization using a standard library.

abbiamo eseguito la tokenizzazione utilizzando una libreria standard.

effective tokenization is crucial for accurate nlp.

la tokenizzazione efficace è fondamentale per un'accurata elaborazione del linguaggio naturale.

the algorithm relies on tokenization to identify keywords.

l'algoritmo si basa sulla tokenizzazione per identificare le parole chiave.

tokenization helps in building a vocabulary for the model.

la tokenizzazione aiuta a costruire un vocabolario per il modello.

whitespace tokenization is a common approach.

la tokenizzazione per spazi bianchi è un approccio comune.

subword tokenization addresses out-of-vocabulary words.

la tokenizzazione delle sottoparole affronta le parole fuori dal vocabolario.

regular expression tokenization provides more control.

la tokenizzazione con espressioni regolari offre maggiore controllo.

the system uses tokenization to preprocess the input.

il sistema utilizza la tokenizzazione per pre-elaborare l'input.

tokenization is a fundamental step in text processing.

la tokenizzazione è un passo fondamentale nell'elaborazione del testo.

we evaluated different tokenization strategies.

abbiamo valutato diverse strategie di tokenizzazione.

Popular Words

Explore frequently searched vocabulary

Download App to Unlock Full Content

Want to learn vocabulary more efficiently? Download the DictoGo app and enjoy more vocabulary memorization and review features!

Download DictoGo Now