tokenizer

[Mỹ]/ˈtəʊkənaɪzə/
[Anh]/ˈtoʊkənaɪzər/

Dịch

n. một chương trình hoặc công cụ chia văn bản thành các token, chẳng hạn như từ hoặc cụm từ.

Cụm từ & Cách kết hợp

tokenizer input

đầu vào bộ phân tích cú pháp

using a tokenizer

sử dụng bộ phân tích cú pháp

tokenizer output

đầu ra của bộ phân tích cú pháp

tokenizer library

thư viện bộ phân tích cú pháp

tokenizer function

hàm bộ phân tích cú pháp

tokenizer class

lớp bộ phân tích cú pháp

tokenizer method

phương pháp bộ phân tích cú pháp

custom tokenizer

bộ phân tích cú pháp tùy chỉnh

Câu ví dụ

we used a fast tokenizer for efficient text processing.

Chúng tôi đã sử dụng một bộ tách từ nhanh để xử lý văn bản hiệu quả.

the tokenizer splits the text into individual tokens.

Bộ tách từ chia văn bản thành các token riêng lẻ.

a subword tokenizer handles rare words effectively.

Bộ tách từ từ con xử lý hiệu quả các từ hiếm.

the character tokenizer is simple but less effective.

Bộ tách từ ký tự đơn giản nhưng kém hiệu quả hơn.

we need a robust tokenizer for our nlp pipeline.

Chúng tôi cần một bộ tách từ mạnh mẽ cho quy trình NLP của chúng tôi.

the sentence tokenizer separates sentences accurately.

Bộ tách từ câu tách các câu một cách chính xác.

the word tokenizer is a common starting point.

Bộ tách từ từ là điểm khởi đầu phổ biến.

we compared different tokenizers for optimal performance.

Chúng tôi đã so sánh các bộ tách từ khác nhau để có hiệu suất tối ưu.

the tokenizer’s output is used for feature extraction.

Đầu ra của bộ tách từ được sử dụng để trích xuất đặc trưng.

regular expressions can be used to define a custom tokenizer.

Biểu thức chính quy có thể được sử dụng để định nghĩa một bộ tách từ tùy chỉnh.

Từ phổ biến

Khám phá những từ vựng được tìm kiếm thường xuyên

Tải ứng dụng để mở khóa toàn bộ nội dung

Muốn học từ vựng hiệu quả hơn? Tải ngay ứng dụng DictoGo và tận hưởng nhiều tính năng ghi nhớ và ôn tập từ vựng hơn nữa!

Tải DictoGo ngay