বাংলা টোকেন কাউন্টার
বাংলা লেখা দিন: ইংরেজির তুলনায় আসলে কত টোকেন লাগে, আর AI API-র বিলে তার প্রভাব কত — দেখুন।
আমাদের নমুনায় GPT-4-এর টোকেনাইজারে বাংলায় ইংরেজির ৫.৬ গুণ টোকেন লাগে, আর GPT-4o-তে ১.৪ গুণ।
গোনা হয় আপনার ব্রাউজারেই — লেখা কোথাও পাঠানো হয় না।
বাংলা বনাম ইংরেজি: মাপা টোকেন সংখ্যা
| লেখা | GPT-4o (o200k) বাংলা / ইংরেজি | GPT-4 (cl100k) বাংলা / ইংরেজি |
|---|---|---|
| গ্রাহক সেবাআপনার অর্ডারটি আজ বিকেলে পাঠানো হয়েছে। দুই থেকে তিন কর্মদিব… | ৪১ / ৩০ ১.৪× | ১৬৪ / ৩০ ৫.৫× |
| খবরদেশের বিশ্ববিদ্যালয়গুলোতে কৃত্রিম বুদ্ধিমত্তা নিয়ে গবেষণা … | ৩৮ / ২৬ ১.৫× | ১৬৪ / ২৬ ৬.৩× |
| কৃষি পরামর্শধানের পাতায় বাদামি দাগ দেখা দিলে প্রথমে আক্রান্ত পাতা তুলে … | ৪২ / ৩২ ১.৩× | ১৬৬ / ৩২ ৫.২× |
বাংলায় কেন বেশি টোকেন লাগে
টোকেনাইজার মূলত ইংরেজি লেখা থেকে বানানো, তাই সাধারণ ইংরেজি শব্দ একটি টোকেন হয়, অথচ বাংলা শব্দ ভেঙে অনেক ছোট টুকরো হয় — কখনো প্রতিটি অক্ষর বা কার-চিহ্ন আলাদা। বেশি টোকেন মানে বেশি API বিল, ধীর উত্তর আর মডেলের কনটেক্সটে কম জায়গা।
নিজের AI কম্পিউটারে ওপেন মডেল (Llama, Qwen, Gemma) চালালে টোকেন-প্রতি বিলই থাকে না: যত টোকেনই হোক, মিনিট হিসেবে বিল। কী লাগবে দেখুন: এই মডেল চালাতে পারব?
OpenAI-র o200k (GPT-4o পরিবার) ও cl100k (GPT-4 / GPT-3.5) টোকেনাইজারে সংখ্যা হুবহু। অন্য মডেলের (Llama, Qwen, Gemini, Claude) নিজস্ব টোকেনাইজার আছে, তাই তাদের সংখ্যা আলাদা।
সাধারণ প্রশ্ন
একটি বাংলা শব্দে কত টোকেন?
টোকেনাইজারের ওপর নির্ভর করে। আমাদের নমুনায় একই কথা বাংলায় GPT-4 (cl100k)-এ ইংরেজির প্রায় ৫.৬ গুণ আর GPT-4o (o200k)-তে প্রায় ১.৪ গুণ টোকেন লাগে।
আমার লেখা কি কোথাও পাঠানো হয়?
না। টোকেনাইজার পুরোটা আপনার ব্রাউজারেই চলে।
আসল AI কম্পিউটারে চালিয়ে দেখুন
এক মিনিটের মধ্যে JupyterLab চালু হয়। bKash-এ টাকায় পেমেন্ট, মিনিট হিসেবে বিল — যখন খুশি বন্ধ করুন।