GPU মানে Graphics Processing Unit। শুরুতে এটি গেমের ছবি আঁকার জন্য বানানো হয়েছিল, কিন্তু AI-এর কাজ — বিশাল সংখ্যার গুণ-যোগ — ঠিক এই ধরনের। একটি CPU-তে কয়েকটি শক্তিশালী কোর থাকে, আর একটি GPU-তে থাকে হাজার হাজার ছোট কোর, যারা একসাথে কাজ করে।
তাই যে মডেল ট্রেনিং CPU-তে সপ্তাহ লাগে, ভালো GPU-তে তা কয়েক ঘণ্টায় হয়। NVIDIA L4, A100, H100-এর মতো GPU-গুলো বিশেষভাবে AI-এর জন্য তৈরি।
উদাহরণ
Llama 3.1 8B মডেলটি ল্যাপটপের CPU-তে প্রতি সেকেন্ডে ২–৩টি শব্দ লেখে; একটি L4 GPU-তে (৪-বিটে) প্রায় ৩০–৪০টি।
In English: GPU — A processor that does thousands of small calculations at once — the main engine for running and training AI.