কোনো বাংলা বাক্য কোন অঞ্চলের, মডেল কি বলতে পারে? এই নোটবুক BD-Dialect ডেটাসেটে (CC BY 4.0) একটি টেক্সট ক্লাসিফায়ার ট্রেন করে এবং জনপ্রিয় বাংলা BERT মডেলগুলো পাশাপাশি তুলনা করে।
আপনি যা করবেন
- উপভাষার ডেটা লোড করে দেখা; কলামের নাম আলাদা হলে একবার ম্যাপ করা।
- ক্লাসিফায়ার ফাইন-টিউন করে প্রতিটি উপভাষার স্কোর পড়া।
- মডেল ও তাদের লাইসেন্স তুলনা।
জেনে রাখুন
- পরিচিত BanglaBERT (csebuetnlp) CC BY-NC-SA 4.0 — শুধু অবাণিজ্যিক ব্যবহারে। নোটবুক ডিফল্টে MIT লাইসেন্সের মডেল ব্যবহার করে, যাতে বাণিজ্যিক কাজ করা যায়; গবেষণা হলে বদলানোর পথ দেখানো আছে।
- ২৪ জিবির ছোট GPU-ই যথেষ্ট।