কীভাবে ব্যবহার করবেন
- যে টেক্সট পাঠাতে চান তা পেস্ট করুন। টোকেন, অক্ষর ও শব্দের সংখ্যা সঙ্গে সঙ্গে দেখা যাবে।
- বেশি লম্বা হলে অংশে ভাগ করুন-এর নিচে প্রতি অংশে সর্বোচ্চ টোকেন বা অক্ষর ঠিক করুন।
- প্রতিটি অংশ পর্যায়ক্রমে AI চ্যাটে কপি করুন।
অপশনগুলোর ব্যাখ্যা
- টোকেন গণনা
- OpenAI-এর প্রকাশ্য o200k_base শব্দভান্ডার দিয়ে নিখুঁতভাবে গোনা হয়, যা GPT-4o, GPT-4.1, GPT-5 ও o-সিরিজ ব্যবহার করে। অন্য মডেলের টোকেনাইজারে গণনা আলাদা হয়।
- ভাগ করা
- আগে অনুচ্ছেদের মাঝে, তারপর বাক্যের মাঝে ভাগ হয়; কোনো বাক্য নিজেই খুব লম্বা হলে তবেই তার ভেতরে কাটা হয়। “অংশ i/n” লাইনটিও সীমার মধ্যে গোনা হয়।
টোকেন দেখতে কেমন, এবং অংশের লেবেল কতটা জায়গা নেয়
টোকেন হলো মডেলের শব্দভান্ডারের একটি লেখার টুকরো, শব্দ নয়। o200k_base শব্দভান্ডারে গণনা:
| লেখা | অক্ষর | টোকেন |
|---|---|---|
Hello, world! |
13 | 4 |
tokenization |
12 | 2 |
The quick brown fox jumps over the lazy dog. |
44 | 10 |
1234567890 |
10 | 4 |
https://example.com/a/b?c=d |
27 | 9 |
你好，世界 |
5 | 3 |
অঙ্ক, URL ও কোড অনেক ছোট ছোট টোকেনে ভাঙে, তাই একই দৈর্ঘ্যের সাধারণ গদ্যের চেয়ে সেগুলো আপনার সীমার বেশি অংশ খরচ করে।
«প্রতিটি অংশের শুরুতে “অংশ 1/3” লাইন যোগ করুন» অপশন চালু থাকলে প্রতিটি অংশ [Part 2/3]-এর মতো একটি লাইন দিয়ে শুরু হয়, তার পরে একটি ফাঁকা লাইন। টুল সবচেয়ে লম্বা সম্ভাব্য সংস্করণ [Part 999/999] এবং ফাঁকা লাইনের জন্য জায়গা রাখে, যার খরচ 7 টোকেন, তাই প্রতিটি অংশের লেখা আপনার «প্রতি অংশে সর্বোচ্চ» থেকে 7 টোকেন কম (অক্ষরে গুনলে 16 অক্ষর কম) পর্যন্ত কাটা হয়। প্রতিটি অংশের জন্য দেখানো সংখ্যায় তার লেবেল ধরা থাকে, তাই তা আপনার সেট করা সর্বোচ্চ ছাড়ায় না।
সচরাচর জিজ্ঞাসিত প্রশ্ন
একটি শব্দে কত টোকেন?
ইংরেজিতে গড়ে প্রতি টোকেনে প্রায় 0.75 শব্দ, তবে এটা বদলায়। উপরে দেখানো প্রতি টোকেনে অক্ষর আপনার আসল টেক্সট থেকে হিসাব করা।
Claude বা Gemini-র জন্য গণনা কি নিখুঁত?
তাদের নিজস্ব টোকেনাইজার আছে, তাই এখানকার GPT গণনা শুধু মোটামুটি ধারণা; আসল হিসাব সেই প্ল্যাটফর্ম নিজে যা দেখায় তা-ই।
আমার টেক্সট কি আপলোড হয়?
না। গণনা ও ভাগ করা আপনার ব্রাউজারেই হয়।
গোপনীয়তা
এই টুলটি পুরোপুরি আপনার ব্রাউজারে চলে। আপনার ফাইল ও লেখা আপনার ডিভাইসেই প্রসেস হয় এবং কখনো আমাদের সার্ভারে আপলোড হয় না।