tokenization

[ایالات متحده]/ˌtəʊkənaɪˈzeɪʃən/
[بریتانیا]/ˌtoʊkənaɪˈzeɪʃən/

ترجمه

n. فرآیند شکستن متن به توکن‌هایی مانند کلمات یا عبارات (n. the process of breaking text into tokens such as words or phrases)

عبارات و ترکیب‌ها

tokenization process

فرآیند توکن‌سازی

tokenization step

مرحله توکن‌سازی

tokenization method

روش توکن‌سازی

tokenization task

وظیفه توکن‌سازی

tokenization error

خطای توکن‌سازی

tokenization tools

ابزارهای توکن‌سازی

tokenization stage

مرحله توکن‌سازی

tokenization library

کتابخانه توکن‌سازی

جملات نمونه

the initial step involves tokenization of the text data.

مرحله اول شامل توکن‌سازی داده‌های متنی است.

tokenization allows for easier analysis of the document.

توکن‌سازی امکان تجزیه و تحلیل آسان‌تر سند را فراهم می‌کند.

we performed tokenization using a standard library.

ما توکن‌سازی را با استفاده از یک کتابخانه استاندارد انجام دادیم.

effective tokenization is crucial for accurate nlp.

توکن‌سازی مؤثر برای پردازش زبان طبیعی دقیق بسیار مهم است.

the algorithm relies on tokenization to identify keywords.

الگوریتم برای شناسایی کلمات کلیدی به توکن‌سازی متکی است.

tokenization helps in building a vocabulary for the model.

توکن‌سازی به ایجاد یک واژگان برای مدل کمک می‌کند.

whitespace tokenization is a common approach.

توکن‌سازی با استفاده از فاصله یک روش رایج است.

subword tokenization addresses out-of-vocabulary words.

توکن‌سازی زیرکلمه به مشکل کلمات خارج از واژگان می‌پردازد.

regular expression tokenization provides more control.

توکن‌سازی با استفاده از عبارات با قاعده کنترل بیشتری را فراهم می‌کند.

the system uses tokenization to preprocess the input.

سیستم از توکن‌سازی برای پیش‌پردازش ورودی استفاده می‌کند.

tokenization is a fundamental step in text processing.

توکن‌سازی یک مرحله اساسی در پردازش متن است.

we evaluated different tokenization strategies.

ما استراتژی‌های توکن‌سازی مختلف را ارزیابی کردیم.

واژه‌های پرکاربرد

لغات پرجستجو را کاوش کنید

برای دسترسی به محتوای کامل، اپلیکیشن را دانلود کنید

می‌خواهید واژگان را مؤثرتر یاد بگیرید؟ اپلیکیشن DictoGo را دانلود کنید و از امکانات بیشتری برای حفظ و مرور واژگان لذت ببرید!

همین حالا DictoGo را دانلود کنید