tokenizer

[AS]/ˈtəʊkənaɪzə/
[UK]/ˈtoʊkənaɪzər/

Terjemahan

n.a program atau alat yang memecah teks menjadi token, seperti kata atau frasa

Frasa & Kolokasi

tokenizer input

input tokeniser

using a tokenizer

menggunakan tokeniser

tokenizer output

output tokeniser

tokenizer library

perpustakaan tokeniser

tokenizer function

fungsi tokeniser

tokenizer class

kelas tokeniser

tokenizer method

metode tokeniser

custom tokenizer

tokeniser khusus

Contoh Kalimat

we used a fast tokenizer for efficient text processing.

kami menggunakan tokenizer yang cepat untuk pemrosesan teks yang efisien.

the tokenizer splits the text into individual tokens.

tokenizer membagi teks menjadi token individual.

a subword tokenizer handles rare words effectively.

tokenizer kata-kata sub efektif dalam menangani kata-kata langka.

the character tokenizer is simple but less effective.

tokenizer karakter sederhana tetapi kurang efektif.

we need a robust tokenizer for our nlp pipeline.

kami membutuhkan tokenizer yang kuat untuk alur kerja nlp kami.

the sentence tokenizer separates sentences accurately.

tokenizer kalimat memisahkan kalimat secara akurat.

the word tokenizer is a common starting point.

tokenizer kata adalah titik awal yang umum.

we compared different tokenizers for optimal performance.

kami membandingkan tokenizer yang berbeda untuk kinerja optimal.

the tokenizer’s output is used for feature extraction.

output tokenizer digunakan untuk ekstraksi fitur.

regular expressions can be used to define a custom tokenizer.

ekspresi reguler dapat digunakan untuk mendefinisikan tokenizer khusus.

Kata Populer

Jelajahi kosakata yang sering dicari

Unduh Aplikasi untuk Membuka Semua Konten

Ingin belajar kosakata dengan lebih efisien? Unduh aplikasi DictoGo dan nikmati fitur penghafalan dan peninjauan kosakata yang lebih banyak!

Unduh DictoGo Sekarang