tokenizer

[US]/ˈtəʊkənaɪzə/
[UK]/ˈtoʊkənaɪzər/

Translation

n. một chương trình hoặc công cụ chia văn bản thành các token, chẳng hạn như từ hoặc cụm từ.

Phrases & Collocations

tokenizer input

đầu vào bộ phân tích cú pháp

using a tokenizer

sử dụng bộ phân tích cú pháp

tokenizer output

đầu ra của bộ phân tích cú pháp

tokenizer library

thư viện bộ phân tích cú pháp

tokenizer function

hàm bộ phân tích cú pháp

tokenizer class

lớp bộ phân tích cú pháp

tokenizer method

phương pháp bộ phân tích cú pháp

custom tokenizer

bộ phân tích cú pháp tùy chỉnh

Example Sentences

we used a fast tokenizer for efficient text processing.

Chúng tôi đã sử dụng một bộ tách từ nhanh để xử lý văn bản hiệu quả.

the tokenizer splits the text into individual tokens.

Bộ tách từ chia văn bản thành các token riêng lẻ.

a subword tokenizer handles rare words effectively.

Bộ tách từ từ con xử lý hiệu quả các từ hiếm.

the character tokenizer is simple but less effective.

Bộ tách từ ký tự đơn giản nhưng kém hiệu quả hơn.

we need a robust tokenizer for our nlp pipeline.

Chúng tôi cần một bộ tách từ mạnh mẽ cho quy trình NLP của chúng tôi.

the sentence tokenizer separates sentences accurately.

Bộ tách từ câu tách các câu một cách chính xác.

the word tokenizer is a common starting point.

Bộ tách từ từ là điểm khởi đầu phổ biến.

we compared different tokenizers for optimal performance.

Chúng tôi đã so sánh các bộ tách từ khác nhau để có hiệu suất tối ưu.

the tokenizer’s output is used for feature extraction.

Đầu ra của bộ tách từ được sử dụng để trích xuất đặc trưng.

regular expressions can be used to define a custom tokenizer.

Biểu thức chính quy có thể được sử dụng để định nghĩa một bộ tách từ tùy chỉnh.

Popular Words

Explore frequently searched vocabulary

Download App to Unlock Full Content

Want to learn vocabulary more efficiently? Download the DictoGo app and enjoy more vocabulary memorization and review features!

Download DictoGo Now