tokenization

[AS]/ˌtəʊkənaɪˈzeɪʃən/
[UK]/ˌtoʊkənaɪˈzeɪʃən/

Terjemahan

n. proses memecah teks menjadi token seperti kata atau frasa

Frasa & Kolokasi

tokenization process

proses tokenisasi

tokenization step

langkah tokenisasi

tokenization method

metode tokenisasi

tokenization task

tugas tokenisasi

tokenization error

kesalahan tokenisasi

tokenization tools

alat tokenisasi

tokenization stage

tahap tokenisasi

tokenization library

pustaka tokenisasi

Contoh Kalimat

the initial step involves tokenization of the text data.

langkah awal melibatkan tokenisasi data teks.

tokenization allows for easier analysis of the document.

tokenisasi memungkinkan analisis dokumen yang lebih mudah.

we performed tokenization using a standard library.

kami melakukan tokenisasi menggunakan pustaka standar.

effective tokenization is crucial for accurate nlp.

tokenisasi yang efektif sangat penting untuk akurasi NLP.

the algorithm relies on tokenization to identify keywords.

algoritma bergantung pada tokenisasi untuk mengidentifikasi kata kunci.

tokenization helps in building a vocabulary for the model.

tokenisasi membantu dalam membangun kosakata untuk model.

whitespace tokenization is a common approach.

tokenisasi spasi putih adalah pendekatan yang umum.

subword tokenization addresses out-of-vocabulary words.

tokenisasi subkata mengatasi kata-kata di luar kosakata.

regular expression tokenization provides more control.

tokenisasi ekspresi reguler memberikan lebih banyak kontrol.

the system uses tokenization to preprocess the input.

sistem menggunakan tokenisasi untuk melakukan pra-pemrosesan input.

tokenization is a fundamental step in text processing.

tokenisasi adalah langkah fundamental dalam pemrosesan teks.

we evaluated different tokenization strategies.

kami mengevaluasi berbagai strategi tokenisasi.

Kata Populer

Jelajahi kosakata yang sering dicari

Unduh Aplikasi untuk Membuka Semua Konten

Ingin belajar kosakata dengan lebih efisien? Unduh aplikasi DictoGo dan nikmati fitur penghafalan dan peninjauan kosakata yang lebih banyak!

Unduh DictoGo Sekarang