tokenization

[ארה"ב]/ˌtəʊkənaɪˈzeɪʃən/
[בריטניה]/ˌtoʊkənaɪˈzeɪʃən/

תרגום

n. התהליך של פירוק טקסט לטוקנים כגון מילים או משפטים

צירופים וביטויים

tokenization process

תהליך ניתוח

tokenization step

שלב ניתוח

tokenization method

שיטת ניתוח

tokenization task

משימת ניתוח

tokenization error

שגיאת ניתוח

tokenization tools

כלי ניתוח

tokenization stage

שלב ניתוח

tokenization library

ספריית ניתוח

דוגמאות למשפטים

the initial step involves tokenization of the text data.

השלב הראשוני כרוך בפירוק של נתוני הטקסט.

tokenization allows for easier analysis of the document.

פירוק מאפשר ניתוח קל יותר של המסמך.

we performed tokenization using a standard library.

ביצענו פירוק באמצעות ספרייה סטנדרטית.

effective tokenization is crucial for accurate nlp.

פירוק יעיל הוא קריטי ל-nlp מדויק.

the algorithm relies on tokenization to identify keywords.

האלגוריתם מסתמך על פירוק כדי לזהות מילות מפתח.

tokenization helps in building a vocabulary for the model.

פירוק עוזר בבניית אוצר מילים עבור המודל.

whitespace tokenization is a common approach.

פירוק רווחים הוא גישה נפוצה.

subword tokenization addresses out-of-vocabulary words.

פירוק תת-מילים מתמודד עם מילים מחוץ לאוצר המילים.

regular expression tokenization provides more control.

פירוק באמצעות ביטויים רגולריים מספק יותר שליטה.

the system uses tokenization to preprocess the input.

המערכת משתמשת בפירוק כדי לעבד את הקלט מראש.

tokenization is a fundamental step in text processing.

פירוק הוא שלב יסוד בעיבוד טקסט.

we evaluated different tokenization strategies.

הערכנו אסטרטגיות פירוק שונות.

מילים פופולריות

חקור אוצר מילים שמחפשים לעיתים קרובות

הורד את האפליקציה כדי לפתוח את כל התוכן

רוצה ללמוד אוצר מילים ביעילות רבה יותר? הורד את אפליקציית DictoGo ותהנה מאפשרויות נוספות לשינון ולתרגול אוצר מילים!

הורד את DictoGo עכשיו