Transformer (Adaptive Input Embeddings) WT103 ni modeli ya lugha iliyoundwa na Facebook AI Research (Marekani, Ufaransa), iliyotolewa 28 Septemba 2018.
Uzito wake (weights) uko wazi: mtu yeyote anaweza kuipakua, kuiendesha na kuitumia hata kibiashara.
Ina vigezo (parameters) milioni 247.
Ilipotoka, ilivunja rekodi katika kazi yake.
Naweza kuiendesha mwenyewe?
Ndiyo, kwenye simu janja au kifaa chenye uwezo mkubwa zaidi.
SimuRAM ya GB 6–8
Kompyuta mpakatoRAM ya GB 16
Kompyuta yenye uwezo mkubwaGB 24 hadi 64 (kadi ya michoro au Mac yenye uwezo mkubwa)
Sevazaidi ya GB 64
Inahitaji takriban GB 1.1 za kumbukumbu (RAM) ikibanwa hadi biti 4.
Programu za simu zinazoendesha modeli bila intaneti (kwa mfano PocketPal) zinapakua toleo lililobanwa.
Modeli nyingine za Facebook AI Research
V-JEPA 2Facebook AI ResearchJun 2025Utambuzi wa picha, Video
Wazi1BSimu
Chameleon-34BFacebook AI ResearchMei 2024Data mseto, Kutengeneza picha
Wazi, si kwa biashara34BKompyuta yenye uwezo mkubwa
DINOv2Facebook AI Research na INRIAApr 2023Utambuzi wa picha
Wazi1.1BSimu
Incoder-6.7BCarnegie Mellon University (CMU), Facebook AI Research, Toyota Technological Institute at Chicago, University of California (UC) Berkeley na University of WashingtonApr 2023Lugha