Introduced in 2017, the transformer’s key idea is attention: each word looks at every other word in the input to decide what matters to it.
It suits GPUs’ parallel maths, so it scales to huge sizes. GPT, Llama, BERT and Whisper are all transformers.
Example
BanglaBERT is a transformer trained to understand Bangla text.
বাংলায়: ট্রান্সফরমার — প্রায় সব আধুনিক ভাষা ও ছবি মডেলের পেছনের নকশা — “attention” দিয়ে পুরো লেখার সম্পর্ক বোঝে।