วิธีใช้งาน
- วางข้อความที่ต้องการส่ง จำนวนโทเค็น ตัวอักษร และคำจะแสดงทันที
- ถ้ายาวเกินไป ให้ตั้งจำนวนโทเค็นหรือตัวอักษรสูงสุดต่อส่วนใต้ แบ่งเป็นส่วน
- คัดลอกทีละส่วนตามลำดับไปยังแชต AI
คำอธิบายตัวเลือก
- จำนวนโทเค็น
- นับอย่างแม่นยำด้วยคลังคำ o200k_base ที่ OpenAI เปิดเผย ซึ่ง GPT-4o, GPT-4.1, GPT-5 และซีรีส์ o ใช้ ตัวตัดโทเค็นของโมเดลอื่นจะนับได้ต่างออกไป
- การแบ่ง
- แบ่งตรงช่วงระหว่างย่อหน้าก่อน แล้วจึงระหว่างประโยค และตัดกลางประโยคเฉพาะเมื่อประโยคนั้นยาวเกินไปเพียงประโยคเดียว บรรทัด ส่วนที่ i/n นับรวมในขีดจำกัดด้วย
โทเค็นหน้าตาเป็นอย่างไร และป้ายส่วนใช้พื้นที่เท่าไร
โทเค็นคือชิ้นส่วนของข้อความจากคลังคำของโมเดล ไม่ใช่คำ จำนวนที่นับด้วยคลังคำ o200k_base:
| ข้อความ | ตัวอักษร | โทเค็น |
|---|---|---|
Hello, world! |
13 | 4 |
tokenization |
12 | 2 |
The quick brown fox jumps over the lazy dog. |
44 | 10 |
1234567890 |
10 | 4 |
https://example.com/a/b?c=d |
27 | 9 |
你好，世界 |
5 | 3 |
ตัวเลข URL และโค้ดถูกแยกเป็นโทเค็นสั้นๆ จำนวนมาก จึงใช้ขีดจำกัดของคุณมากกว่าข้อความทั่วไปที่ยาวเท่ากัน
เมื่อเปิดตัวเลือก “เพิ่มบรรทัด “ส่วนที่ 1/3” ไว้ด้านบนของแต่ละส่วน” แต่ละส่วนจะขึ้นต้นด้วยบรรทัด เช่น [Part 2/3] ตามด้วยบรรทัดว่าง เครื่องมือสงวนพื้นที่สำหรับรูปแบบที่ยาวที่สุดที่เป็นไปได้ คือ [Part 999/999] พร้อมบรรทัดว่าง ซึ่งใช้ 7 โทเค็น ข้อความของแต่ละส่วนจึงถูกตัดเหลือ “สูงสุดต่อส่วน” ลบ 7 โทเค็น (หรือลบ 16 ตัวอักษรเมื่อนับเป็นตัวอักษร) ตัวเลขที่แสดงสำหรับแต่ละส่วนรวมป้ายของมันแล้ว จึงไม่เกินค่าสูงสุดที่คุณตั้ง
คำถามที่พบบ่อย
หนึ่งคำเท่ากับกี่โทเค็น
ภาษาอังกฤษเฉลี่ยประมาณ 0.75 คำต่อโทเค็น แต่ก็แตกต่างกันไป ค่าตัวอักษรต่อโทเค็นข้างบนคำนวณจากข้อความจริงของคุณ
จำนวนสำหรับ Claude หรือ Gemini แม่นยำไหม
โมเดลเหล่านั้นใช้ตัวตัดโทเค็นของตัวเอง ค่าของ GPT ที่นี่จึงเป็นเพียงแนวทาง ตัวเลขการใช้งานจริงให้ดูจากที่แพลตฟอร์มนั้นแสดง
ข้อความของฉันถูกอัปโหลดไหม
ไม่ การนับและการแบ่งทำงานในเบราว์เซอร์ของคุณ
ความเป็นส่วนตัว
เครื่องมือนี้ทำงานในเบราว์เซอร์ของคุณทั้งหมด ไฟล์และข้อความของคุณได้รับการประมวลผลบนอุปกรณ์ของคุณ และจะไม่ถูกอัปโหลดไปยังเซิร์ฟเวอร์ของเรา