tokenization

[미국]/ˌtəʊkənaɪˈzeɪʃən/
[영국]/ˌtoʊkənaɪˈzeɪʃən/

한국어 번역

n. 텍스트를 단어나 구와 같은 토큰으로 분해하는 과정.

구문 및 연어

tokenization process

토큰화 과정

tokenization step

토큰화 단계

tokenization method

토큰화 방법

tokenization task

토큰화 작업

tokenization error

토큰화 오류

tokenization tools

토큰화 도구

tokenization stage

토큰화 단계

tokenization library

토큰화 라이브러리

예문

the initial step involves tokenization of the text data.

초기 단계는 텍스트 데이터의 토큰화(tokenization)를 포함합니다.

tokenization allows for easier analysis of the document.

토큰화(tokenization)를 통해 문서를 더 쉽게 분석할 수 있습니다.

we performed tokenization using a standard library.

우리는 표준 라이브러리를 사용하여 토큰화(tokenization)를 수행했습니다.

effective tokenization is crucial for accurate nlp.

효과적인 토큰화(tokenization)는 정확한 자연어 처리(NLP)에 매우 중요합니다.

the algorithm relies on tokenization to identify keywords.

알고리즘은 키워드를 식별하기 위해 토큰화(tokenization)에 의존합니다.

tokenization helps in building a vocabulary for the model.

토큰화(tokenization)는 모델을 위한 어휘를 구축하는 데 도움이 됩니다.

whitespace tokenization is a common approach.

공백 토큰화(whitespace tokenization)는 일반적인 접근 방식입니다.

subword tokenization addresses out-of-vocabulary words.

서브워드 토큰화(subword tokenization)는 어휘 외 단어 문제를 해결합니다.

regular expression tokenization provides more control.

정규 표현식 토큰화(regular expression tokenization)는 더 많은 제어 기능을 제공합니다.

the system uses tokenization to preprocess the input.

시스템은 입력을 전처리하기 위해 토큰화(tokenization)를 사용합니다.

tokenization is a fundamental step in text processing.

토큰화(tokenization)는 텍스트 처리의 기본 단계입니다.

we evaluated different tokenization strategies.

우리는 다양한 토큰화(tokenization) 전략을 평가했습니다.

인기 단어

자주 검색된 어휘를 탐색하세요

앱을 다운로드하여 전체 콘텐츠를 잠금 해제하세요

어휘를 더 효율적으로 학습하고 싶으신가요? DictoGo 앱을 다운로드하여 더 많은 어휘 암기 및 복습 기능을 경험해 보세요!

지금 DictoGo를 다운로드하세요