tokenization

[Mỹ]/ˌtəʊkənaɪˈzeɪʃən/
[Anh]/ˌtoʊkənaɪˈzeɪʃən/

Dịch

n. quá trình chia văn bản thành các mã (tokens) như từ hoặc cụm từ.

Cụm từ & Cách kết hợp

tokenization process

quá trình tách từ

tokenization step

bước tách từ

tokenization method

phương pháp tách từ

tokenization task

nhiệm vụ tách từ

tokenization error

lỗi tách từ

tokenization tools

công cụ tách từ

tokenization stage

giai đoạn tách từ

tokenization library

thư viện tách từ

Câu ví dụ

the initial step involves tokenization of the text data.

Bước ban đầu liên quan đến việc tách từ trong dữ liệu văn bản.

tokenization allows for easier analysis of the document.

Việc tách từ cho phép phân tích tài liệu dễ dàng hơn.

we performed tokenization using a standard library.

Chúng tôi đã thực hiện tách từ bằng một thư viện tiêu chuẩn.

effective tokenization is crucial for accurate nlp.

Việc tách từ hiệu quả là rất quan trọng cho NLP chính xác.

the algorithm relies on tokenization to identify keywords.

Thuật toán dựa vào việc tách từ để xác định các từ khóa.

tokenization helps in building a vocabulary for the model.

Việc tách từ giúp xây dựng một từ vựng cho mô hình.

whitespace tokenization is a common approach.

Việc tách từ dựa trên khoảng trắng là một phương pháp phổ biến.

subword tokenization addresses out-of-vocabulary words.

Việc tách từ theo từ con giải quyết các từ nằm ngoài từ vựng.

regular expression tokenization provides more control.

Việc tách từ bằng biểu thức chính quy cung cấp nhiều quyền kiểm soát hơn.

the system uses tokenization to preprocess the input.

Hệ thống sử dụng việc tách từ để tiền xử lý đầu vào.

tokenization is a fundamental step in text processing.

Việc tách từ là một bước cơ bản trong xử lý văn bản.

we evaluated different tokenization strategies.

Chúng tôi đã đánh giá các chiến lược tách từ khác nhau.

Từ phổ biến

Khám phá những từ vựng được tìm kiếm thường xuyên

Tải ứng dụng để mở khóa toàn bộ nội dung

Muốn học từ vựng hiệu quả hơn? Tải ngay ứng dụng DictoGo và tận hưởng nhiều tính năng ghi nhớ và ôn tập từ vựng hơn nữa!

Tải DictoGo ngay