২০১৭ সালে প্রকাশিত ট্রান্সফরমার নকশার মূল কৌশল হলো attention: প্রতিটি শব্দ বাক্যের বাকি সব শব্দের দিকে “তাকিয়ে” ঠিক করে কোনটি তার জন্য গুরুত্বপূর্ণ।
এটি GPU-তে একসাথে অনেক হিসাব করার উপযোগী, তাই বিশাল আকারে বাড়ানো যায়। GPT, Llama, BERT, Whisper — সবই ট্রান্সফরমার।
উদাহরণ
BanglaBERT একটি ট্রান্সফরমার যা বাংলা লেখা বোঝার জন্য শেখানো হয়েছে।
In English: Transformer — The design behind almost every modern language and image model — it uses “attention” to relate every part of the input.