কনটেক্সট উইন্ডো হলো মডেলের “কাজের স্মৃতি”-র সীমা। Llama 3.1-এর সীমা ১,২৮,০০০ টোকেন — প্রায় একটি ছোট বই।
লম্বা কনটেক্সট বেশি GPU মেমরি খায় (KV cache), কারণ প্রতিটি টোকেনের হিসাব মেমরিতে রাখতে হয়।
উদাহরণ
Llama 3.1 8B-এ ৪,০০০ টোকেনের কনটেক্সটে KV cache প্রায় ০.৫ GB; ১,২৮,০০০ টোকেনে প্রায় ১৬ GB।
In English: Context window — How many tokens a model can consider at once — prompt, documents and answer together.