LoRA (Low-Rank Adaptation)-এ মূল মডেলের ওয়েট জমাট (frozen) রাখা হয়, আর পাশে ছোট কিছু নতুন ম্যাট্রিক্স শেখানো হয় — সাধারণত মোট প্যারামিটারের ১%-এরও কম।
ফলে মেমরি অনেক কম লাগে, ট্রেনিং দ্রুত হয়, আর শেখা অ্যাডাপ্টারটি মাত্র কয়েক MB — সহজে শেয়ার করা যায়।
উদাহরণ
Llama 3.1 8B-এর LoRA ফাইন-টিউন ২৪ GB-র L4-এ চলে; পুরো ফাইন-টিউনে ১০০ GB-র বেশি লাগত।
In English: LoRA — Fine-tuning by training small “adapters” instead of the whole model — less memory, lower cost.