Transformer (Adaptive Input Embeddings) WT103

Transformer (Adaptive Input Embeddings) WT103 ni modeli ya lugha iliyoundwa na Facebook AI Research (Marekani, Ufaransa), iliyotolewa 28 Septemba 2018.

Uzito wake (weights) uko wazi: mtu yeyote anaweza kuipakua, kuiendesha na kuitumia hata kibiashara.

Ina vigezo (parameters) milioni 247.

Ilipotoka, ilivunja rekodi katika kazi yake.

Naweza kuiendesha mwenyewe?

Ndiyo, kwenye simu janja au kifaa chenye uwezo mkubwa zaidi.

  1. SimuRAM ya GB 6–8
  2. Kompyuta mpakatoRAM ya GB 16
  3. Kompyuta yenye uwezo mkubwaGB 24 hadi 64 (kadi ya michoro au Mac yenye uwezo mkubwa)
  4. Sevazaidi ya GB 64

Inahitaji takriban GB 1.1 za kumbukumbu (RAM) ikibanwa hadi biti 4.

Programu za simu zinazoendesha modeli bila intaneti (kwa mfano PocketPal) zinapakua toleo lililobanwa.

Modeli nyingine za Facebook AI Research

  1. V-JEPA 2Facebook AI ResearchJun 2025Utambuzi wa picha, Video
    Wazi1BSimu
  2. Chameleon-34BFacebook AI ResearchMei 2024Data mseto, Kutengeneza picha
    Wazi, si kwa biashara34BKompyuta yenye uwezo mkubwa
  3. FragLlama: Next-fragment prediction for molecular designFacebook AI ResearchMei 2024Data mseto, Kutengeneza picha
    Wazi, si kwa biashara7BKompyuta mpakato
  4. Multi-Token Prediction 7BFacebook AI ResearchApr 2024Lugha
    Wazi, si kwa biashara6.7BKompyuta mpakato
  5. DINOv2Facebook AI Research na INRIAApr 2023Utambuzi wa picha
    Wazi1.1BSimu
  6. Incoder-6.7BCarnegie Mellon University (CMU), Facebook AI Research, Toyota Technological Institute at Chicago, University of California (UC) Berkeley na University of WashingtonApr 2023Lugha
    Wazi, si kwa biashara6.7BKompyuta mpakato