tokenizer input
entrada do tokenizador
using a tokenizer
usando um tokenizador
tokenizer output
saída do tokenizador
tokenizer library
biblioteca de tokenização
tokenizer function
função de tokenização
tokenizer class
classe de tokenização
tokenizer method
método de tokenização
custom tokenizer
tokenizador personalizado
we used a fast tokenizer for efficient text processing.
Usamos um tokenizador rápido para processamento eficiente de texto.
the tokenizer splits the text into individual tokens.
O tokenizador divide o texto em tokens individuais.
a subword tokenizer handles rare words effectively.
Um tokenizador de subpalavras lida com palavras raras de forma eficaz.
the character tokenizer is simple but less effective.
O tokenizador de caracteres é simples, mas menos eficaz.
we need a robust tokenizer for our nlp pipeline.
Precisamos de um tokenizador robusto para nosso pipeline de NLP.
the sentence tokenizer separates sentences accurately.
O tokenizador de frases separa as frases com precisão.
the word tokenizer is a common starting point.
O tokenizador de palavras é um ponto de partida comum.
we compared different tokenizers for optimal performance.
Comparamos diferentes tokenizadores para desempenho ideal.
the tokenizer’s output is used for feature extraction.
A saída do tokenizador é usada para extração de recursos.
regular expressions can be used to define a custom tokenizer.
Expressões regulares podem ser usadas para definir um tokenizador personalizado.
tokenizer input
entrada do tokenizador
using a tokenizer
usando um tokenizador
tokenizer output
saída do tokenizador
tokenizer library
biblioteca de tokenização
tokenizer function
função de tokenização
tokenizer class
classe de tokenização
tokenizer method
método de tokenização
custom tokenizer
tokenizador personalizado
we used a fast tokenizer for efficient text processing.
Usamos um tokenizador rápido para processamento eficiente de texto.
the tokenizer splits the text into individual tokens.
O tokenizador divide o texto em tokens individuais.
a subword tokenizer handles rare words effectively.
Um tokenizador de subpalavras lida com palavras raras de forma eficaz.
the character tokenizer is simple but less effective.
O tokenizador de caracteres é simples, mas menos eficaz.
we need a robust tokenizer for our nlp pipeline.
Precisamos de um tokenizador robusto para nosso pipeline de NLP.
the sentence tokenizer separates sentences accurately.
O tokenizador de frases separa as frases com precisão.
the word tokenizer is a common starting point.
O tokenizador de palavras é um ponto de partida comum.
we compared different tokenizers for optimal performance.
Comparamos diferentes tokenizadores para desempenho ideal.
the tokenizer’s output is used for feature extraction.
A saída do tokenizador é usada para extração de recursos.
regular expressions can be used to define a custom tokenizer.
Expressões regulares podem ser usadas para definir um tokenizador personalizado.
Explore frequently searched vocabulary
Want to learn vocabulary more efficiently? Download the DictoGo app and enjoy more vocabulary memorization and review features!
Download DictoGo Now