tokenizer input
토큰화기 입력
using a tokenizer
토큰화기를 사용하는
tokenizer output
토큰화기 출력
tokenizer library
토큰화기 라이브러리
tokenizer function
토큰화기 함수
tokenizer class
토큰화기 클래스
tokenizer method
토큰화기 메서드
custom tokenizer
사용자 정의 토큰화기
we used a fast tokenizer for efficient text processing.
우리는 효율적인 텍스트 처리를 위해 빠른 토크나이저를 사용했습니다.
the tokenizer splits the text into individual tokens.
토크나이저는 텍스트를 개별 토큰으로 분할합니다.
a subword tokenizer handles rare words effectively.
서브워드 토크나이저는 희귀 단어를 효과적으로 처리합니다.
the character tokenizer is simple but less effective.
문자 토크나이저는 간단하지만 효과가 덜합니다.
we need a robust tokenizer for our nlp pipeline.
우리의 NLP 파이프라인을 위해 강력한 토크나이저가 필요합니다.
the sentence tokenizer separates sentences accurately.
문장 토크나이저는 문장을 정확하게 분리합니다.
the word tokenizer is a common starting point.
단어 토크나이저는 일반적인 시작점입니다.
we compared different tokenizers for optimal performance.
최적의 성능을 위해 다양한 토크나이저를 비교했습니다.
the tokenizer’s output is used for feature extraction.
토크나이저의 출력은 특징 추출에 사용됩니다.
regular expressions can be used to define a custom tokenizer.
정규 표현식을 사용하여 사용자 정의 토크나이저를 정의할 수 있습니다.
tokenizer input
토큰화기 입력
using a tokenizer
토큰화기를 사용하는
tokenizer output
토큰화기 출력
tokenizer library
토큰화기 라이브러리
tokenizer function
토큰화기 함수
tokenizer class
토큰화기 클래스
tokenizer method
토큰화기 메서드
custom tokenizer
사용자 정의 토큰화기
we used a fast tokenizer for efficient text processing.
우리는 효율적인 텍스트 처리를 위해 빠른 토크나이저를 사용했습니다.
the tokenizer splits the text into individual tokens.
토크나이저는 텍스트를 개별 토큰으로 분할합니다.
a subword tokenizer handles rare words effectively.
서브워드 토크나이저는 희귀 단어를 효과적으로 처리합니다.
the character tokenizer is simple but less effective.
문자 토크나이저는 간단하지만 효과가 덜합니다.
we need a robust tokenizer for our nlp pipeline.
우리의 NLP 파이프라인을 위해 강력한 토크나이저가 필요합니다.
the sentence tokenizer separates sentences accurately.
문장 토크나이저는 문장을 정확하게 분리합니다.
the word tokenizer is a common starting point.
단어 토크나이저는 일반적인 시작점입니다.
we compared different tokenizers for optimal performance.
최적의 성능을 위해 다양한 토크나이저를 비교했습니다.
the tokenizer’s output is used for feature extraction.
토크나이저의 출력은 특징 추출에 사용됩니다.
regular expressions can be used to define a custom tokenizer.
정규 표현식을 사용하여 사용자 정의 토크나이저를 정의할 수 있습니다.
자주 검색된 어휘를 탐색하세요
어휘를 더 효율적으로 학습하고 싶으신가요? DictoGo 앱을 다운로드하여 더 많은 어휘 암기 및 복습 기능을 경험해 보세요!
지금 DictoGo를 다운로드하세요