tokenizer

[USA]/ˈtəʊkənaɪzə/
[UK]/ˈtoʊkənaɪzər/

Översättning

n.a program or tool that breaks text into tokens, such as words or phrases
n. ett program eller ett verktyg som bryter ner text i tokens, såsom ord eller fraser

Fraser & Kollokationer

tokenizer input

ordindelare indata

using a tokenizer

med en ordindelare

tokenizer output

ordindelare utdata

tokenizer library

ordindelarlbibliotek

tokenizer function

ordindelarefunktion

tokenizer class

ordindelareklass

tokenizer method

ordindelarmetod

custom tokenizer

anpassad ordindelare

Exempelsatser

we used a fast tokenizer for efficient text processing.

Vi använde en snabb tokeniserare för effektiv textbearbetning.

the tokenizer splits the text into individual tokens.

Tokeniseraren delar upp texten i enskilda tokens.

a subword tokenizer handles rare words effectively.

En subword-tokeniserare hanterar ovanliga ord effektivt.

the character tokenizer is simple but less effective.

Teckentokeniseraren är enkel men mindre effektiv.

we need a robust tokenizer for our nlp pipeline.

Vi behöver en robust tokeniserare för vår NLP-pipeline.

the sentence tokenizer separates sentences accurately.

Meningstokeniseraren separerar meningar korrekt.

the word tokenizer is a common starting point.

Ordtokeniseraren är en vanlig utgångspunkt.

we compared different tokenizers for optimal performance.

Vi jämförde olika tokeniserare för optimal prestanda.

the tokenizer’s output is used for feature extraction.

Tokeniserarens utdata används för extrahering av funktioner.

regular expressions can be used to define a custom tokenizer.

Reguljära uttryck kan användas för att definiera en anpassad tokeniserare.

Ladda ner appen för att låsa upp allt innehåll

Vill du lära dig ordförråd mer effektivt? Ladda ner DictoGo-appen och ta del av fler funktioner för att memorera och repetera ordförråd!

Ladda ner DictoGo nu