VRAM হলো GPU-র নিজের দ্রুতগতির মেমরি। কোনো AI মডেল চালাতে হলে মডেলের সব প্যারামিটার (ওয়েট) এই মেমরিতে রাখতে হয়, সাথে আলাপের ইতিহাস (KV cache) ও কাজের জন্য কিছু বাড়তি জায়গা।
মোটা দাগে হিসাব: FP16-এ প্রতি ১০০ কোটি (1B) প্যারামিটারে প্রায় ২ GB লাগে, ৪-বিটে প্রায় ০.৫৬ GB। তাই 8B মডেল FP16-এ প্রায় ১৬–১৮ GB চায়, ৪-বিটে প্রায় ৬ GB।
উদাহরণ
২৪ GB VRAM-এর L4-এ Llama 3.1 8B পুরো মানে চলে; 70B চালাতে ৮০ GB-র A100/H100 আর ৪-বিট লাগে।
In English: VRAM (GPU memory) — The GPU’s own memory. If a model does not fit in it, it cannot run.