ব্যাচ সাইজ

প্রতিটি উদাহরণের পর আলাদা করে শেখার বদলে মডেল কয়েকটি উদাহরণ একসাথে দেখে, তারপর একবারে প্যারামিটার বদলায়। বড় ব্যাচে GPU ভালোভাবে ব্যবহার হয়, কিন্তু মেমরি বেশি লাগে।

মেমরি কম হলে “gradient accumulation” দিয়ে ছোট ব্যাচ জুড়ে বড় ব্যাচের ফল পাওয়া যায়।

In English: Batch size — How many examples the model processes together in one training step.