tokenization

[USA]/ˌtəʊkənaɪˈzeɪʃən/
[Wielka Brytania]/ˌtoʊkənaɪˈzeɪʃən/

Tłumaczenie

n. proces dzielenia tekstu na tokeny takie jak słowa lub frazy

Frazy i kolokacje

tokenization process

proces tokenizacji

tokenization step

krok tokenizacji

tokenization method

metoda tokenizacji

tokenization task

zadanie tokenizacji

tokenization error

błąd tokenizacji

tokenization tools

narzędzia tokenizacji

tokenization stage

etap tokenizacji

tokenization library

biblioteka tokenizacji

Przykładowe zdania

the initial step involves tokenization of the text data.

pierwszym krokiem jest tokenizacja danych tekstowych.

tokenization allows for easier analysis of the document.

tokenizacja umożliwia łatwiejszą analizę dokumentu.

we performed tokenization using a standard library.

wykonaliśmy tokenizację za pomocą standardowej biblioteki.

effective tokenization is crucial for accurate nlp.

skuteczna tokenizacja jest kluczowa dla dokładnego przetwarzania języka naturalnego.

the algorithm relies on tokenization to identify keywords.

algorytm opiera się na tokenizacji w celu identyfikacji słów kluczowych.

tokenization helps in building a vocabulary for the model.

tokenizacja pomaga w budowaniu słownika dla modelu.

whitespace tokenization is a common approach.

tokenizacja po białych znakach jest powszechnym podejściem.

subword tokenization addresses out-of-vocabulary words.

tokenizacja podjednostek słownych rozwiązuje problem słów spoza słownika.

regular expression tokenization provides more control.

tokenizacja za pomocą wyrażeń regularnych zapewnia większą kontrolę.

the system uses tokenization to preprocess the input.

system wykorzystuje tokenizację do wstępnego przetwarzania danych wejściowych.

tokenization is a fundamental step in text processing.

tokenizacja jest podstawowym krokiem w przetwarzaniu tekstu.

we evaluated different tokenization strategies.

oceniliśmy różne strategie tokenizacji.

Popularne słowa

Odkryj najczęściej wyszukiwane słownictwo

Pobierz aplikację, aby odblokować pełną zawartość

Chcesz uczyć się słownictwa efektywniej? Pobierz aplikację DictoGo i korzystaj z dodatkowych funkcji nauki oraz powtórek słownictwa!

Pobierz DictoGo teraz