tokenization

[EUA]/ˌtəʊkənaɪˈzeɪʃən/
[RU]/ˌtoʊkənaɪˈzeɪʃən/

Tradução

n. o processo de dividir texto em tokens como palavras ou frases

Frases & Colocações

tokenization process

processo de tokenização

tokenization step

etapa de tokenização

tokenization method

método de tokenização

tokenization task

tarefa de tokenização

tokenization error

erro de tokenização

tokenization tools

ferramentas de tokenização

tokenization stage

fase de tokenização

tokenization library

biblioteca de tokenização

Frases de Exemplo

the initial step involves tokenization of the text data.

o passo inicial envolve a tokenização dos dados de texto.

tokenization allows for easier analysis of the document.

a tokenização permite uma análise mais fácil do documento.

we performed tokenization using a standard library.

nós realizamos a tokenização usando uma biblioteca padrão.

effective tokenization is crucial for accurate nlp.

a tokenização eficaz é crucial para uma nlp precisa.

the algorithm relies on tokenization to identify keywords.

o algoritmo depende da tokenização para identificar palavras-chave.

tokenization helps in building a vocabulary for the model.

a tokenização ajuda a construir um vocabulário para o modelo.

whitespace tokenization is a common approach.

a tokenização por espaço em branco é uma abordagem comum.

subword tokenization addresses out-of-vocabulary words.

a tokenização de subpalavras aborda palavras fora do vocabulário.

regular expression tokenization provides more control.

a tokenização por expressão regular oferece mais controle.

the system uses tokenization to preprocess the input.

o sistema usa a tokenização para pré-processar a entrada.

tokenization is a fundamental step in text processing.

a tokenização é um passo fundamental no processamento de texto.

we evaluated different tokenization strategies.

nós avaliamos diferentes estratégias de tokenização.

Palavras Populares

Explore vocabulários pesquisados frequentemente

Baixe o aplicativo para desbloquear todo o conteúdo

Quer aprender vocabulário com mais eficiência? Baixe o aplicativo DictoGo e aproveite mais recursos de memorização e revisão de vocabulário!

Baixe o DictoGo agora