tokenizer

[EE. UU.]/ˈtəʊkənaɪzə/
[Reino Unido]/ˈtoʊkənaɪzər/

Traducción

n. un programa o herramienta que divide el texto en tokens, como palabras o frases.

Frases y colocaciones

tokenizer input

entrada del tokenizador

using a tokenizer

usando un tokenizador

tokenizer output

salida del tokenizador

tokenizer library

biblioteca del tokenizador

tokenizer function

función del tokenizador

tokenizer class

clase del tokenizador

tokenizer method

método del tokenizador

custom tokenizer

tokenizador personalizado

Oraciones de ejemplo

we used a fast tokenizer for efficient text processing.

Utilizamos un tokenizador rápido para un procesamiento eficiente del texto.

the tokenizer splits the text into individual tokens.

El tokenizador divide el texto en tokens individuales.

a subword tokenizer handles rare words effectively.

Un tokenizador de subpalabras maneja las palabras raras de manera efectiva.

the character tokenizer is simple but less effective.

El tokenizador de caracteres es simple pero menos efectivo.

we need a robust tokenizer for our nlp pipeline.

Necesitamos un tokenizador robusto para nuestra canalización de PNL.

the sentence tokenizer separates sentences accurately.

El tokenizador de oraciones separa las oraciones con precisión.

the word tokenizer is a common starting point.

El tokenizador de palabras es un punto de partida común.

we compared different tokenizers for optimal performance.

Comparamos diferentes tokenizadores para un rendimiento óptimo.

the tokenizer’s output is used for feature extraction.

La salida del tokenizador se utiliza para la extracción de características.

regular expressions can be used to define a custom tokenizer.

Se pueden utilizar expresiones regulares para definir un tokenizador personalizado.

Palabras populares

Explora el vocabulario más buscado

Descarga la app para desbloquear todo el contenido

¿Quieres aprender vocabulario de manera más eficiente? ¡Descarga la aplicación DictoGo y disfruta de más funciones para memorizar y repasar vocabulario!

Descarga DictoGo ahora