tokenizer

[สหรัฐอเมริกา]/ˈtəʊkənaɪzə/
[สหราชอาณาจักร]/ˈtoʊkənaɪzər/

คำแปล

n.a program or tool that breaks text into tokens, such as words or phrases

วลีและการจับคู่คำ

tokenizer input

ข้อมูลนำเข้าตัวแยกคำ

using a tokenizer

การใช้ตัวแยกคำ

tokenizer output

ผลลัพธ์ของตัวแยกคำ

tokenizer library

ไลบรารีตัวแยกคำ

tokenizer function

ฟังก์ชันตัวแยกคำ

tokenizer class

คลาสตัวแยกคำ

tokenizer method

เมธอดตัวแยกคำ

custom tokenizer

ตัวแยกคำแบบกำหนดเอง

ประโยคตัวอย่าง

we used a fast tokenizer for efficient text processing.

เราใช้ตัวแปลงข้อความที่รวดเร็วเพื่อการประมวลผลข้อความที่มีประสิทธิภาพ

the tokenizer splits the text into individual tokens.

ตัวแปลงข้อความจะแบ่งข้อความออกเป็นโทเค็นแต่ละรายการ

a subword tokenizer handles rare words effectively.

ตัวแปลงข้อความย่อยจัดการกับคำที่หายากได้อย่างมีประสิทธิภาพ

the character tokenizer is simple but less effective.

ตัวแปลงข้อความตัวอักษรนั้นง่าย แต่มีประสิทธิภาพน้อยกว่า

we need a robust tokenizer for our nlp pipeline.

เราต้องการตัวแปลงข้อความที่แข็งแกร่งสำหรับท่อส่ง NLP ของเรา

the sentence tokenizer separates sentences accurately.

ตัวแปลงข้อความประโยคจะแยกประโยคได้อย่างถูกต้อง

the word tokenizer is a common starting point.

ตัวแปลงข้อความคำเป็นจุดเริ่มต้นที่พบบ่อย

we compared different tokenizers for optimal performance.

เราเปรียบเทียบตัวแปลงข้อความต่างๆ เพื่อประสิทธิภาพสูงสุด

the tokenizer’s output is used for feature extraction.

เอาต์พุตของตัวแปลงข้อความถูกใช้สำหรับการดึงคุณสมบัติ

regular expressions can be used to define a custom tokenizer.

สามารถใช้ regular expressions เพื่อกำหนดตัวแปลงข้อความที่กำหนดเองได้

คำยอดนิยม

สำรวจคำศัพท์ที่มีการค้นหาบ่อย

ดาวน์โหลดแอปเพื่อปลดล็อกเนื้อหาเต็มรูปแบบ

ต้องการเรียนรู้คำศัพท์อย่างมีประสิทธิภาพยิ่งขึ้นหรือไม่? ดาวน์โหลดแอป DictoGo แล้วสนุกกับฟีเจอร์ช่วยจดจำและทบทวนคำศัพท์มากมาย!

ดาวน์โหลด DictoGo ตอนนี้