कैसे इस्तेमाल करें
- जो टेक्स्ट भेजना है उसे पेस्ट करें। टोकन, अक्षर और शब्दों की गिनती तुरंत दिख जाती है।
- ज़्यादा लंबा हो तो हिस्सों में बाँटें के नीचे प्रति हिस्सा अधिकतम टोकन या अक्षर तय करें।
- हर हिस्से को बारी-बारी से AI चैट में कॉपी करें।
विकल्पों की जानकारी
- टोकन की गिनती
- OpenAI की सार्वजनिक o200k_base शब्दावली से सटीक गिनती, जिसे GPT-4o, GPT-4.1, GPT-5 और o-सीरीज़ इस्तेमाल करते हैं। दूसरे मॉडलों के टोकनाइज़र अलग गिनती देते हैं।
- बँटवारा
- बँटवारा पहले अनुच्छेदों के बीच, फिर वाक्यों के बीच होता है, और वाक्य के भीतर तभी कटता है जब वह अकेला ही बहुत लंबा हो। “भाग i/n” वाली लाइन भी सीमा में गिनी जाती है।
टोकन कैसे दिखते हैं, और हिस्सों के लेबल कितनी जगह लेते हैं
टोकन मॉडल की शब्दावली का एक टुकड़ा है, शब्द नहीं। o200k_base शब्दावली के साथ गिनती:
| टेक्स्ट | अक्षर | टोकन |
|---|---|---|
Hello, world! |
13 | 4 |
tokenization |
12 | 2 |
The quick brown fox jumps over the lazy dog. |
44 | 10 |
1234567890 |
10 | 4 |
https://example.com/a/b?c=d |
27 | 9 |
你好，世界 |
5 | 3 |
अंक, URL और कोड कई छोटे टोकन में बँटते हैं, इसलिए वे उतनी ही लंबाई के सामान्य गद्य से आपकी सीमा का ज़्यादा हिस्सा लेते हैं।
जब «हर हिस्से के ऊपर “भाग 1/3” लाइन जोड़ें» विकल्प चालू हो, तो हर हिस्सा [भाग 2/3] जैसी एक पंक्ति से शुरू होता है, जिसके बाद एक खाली पंक्ति होती है। टूल सबसे लंबे संभव रूप, [भाग 999/999] और खाली पंक्ति, के लिए जगह रखता है, जिसकी क़ीमत 7 टोकन है, इसलिए हर हिस्से का टेक्स्ट आपके «प्रति हिस्सा अधिकतम» में से 7 टोकन घटाकर काटा जाता है (या अक्षरों से गिनने पर 16 अक्षर घटाकर)। हर हिस्से के लिए दिखाया गया आँकड़ा उसका लेबल भी शामिल करता है, इसलिए वह आपके तय अधिकतम से कभी ज़्यादा नहीं होता।
अक्सर पूछे जाने वाले सवाल
एक शब्द कितने टोकन का होता है?
अंग्रेज़ी में औसतन एक टोकन में लगभग 0.75 शब्द आते हैं, पर यह बदलता रहता है। ऊपर दिखने वाला प्रति टोकन अक्षर आपके असली टेक्स्ट से निकाला जाता है।
क्या Claude या Gemini के लिए गिनती सटीक है?
उनके अपने टोकनाइज़र होते हैं, इसलिए यहाँ की GPT गिनती सिर्फ़ अंदाज़ा है; असली आँकड़ा वही है जो वह प्लेटफ़ॉर्म खुद दिखाए।
क्या मेरा टेक्स्ट अपलोड होता है?
नहीं। गिनती और बँटवारा आपके ब्राउज़र में ही होते हैं।
प्राइवेसी
यह टूल पूरी तरह आपके ब्राउज़र में चलता है। आपकी फ़ाइलें और टेक्स्ट आपके डिवाइस पर ही प्रोसेस होते हैं और हमारे सर्वर पर कभी अपलोड नहीं होते।