Mixtral 8x22B
Mixtral 8x22B ni modeli ya lugha iliyoundwa na Mistral AI (Ufaransa), iliyotolewa 17 Aprili 2024.
Uzito wake (weights) uko wazi: mtu yeyote anaweza kuipakua, kuiendesha na kuitumia hata kibiashara.
Ina vigezo (parameters) bilioni 141.
Naweza kuiendesha mwenyewe?
Ndiyo, kwenye seva pekee.
- SimuRAM ya GB 6–8
- Kompyuta mpakatoRAM ya GB 16
- Kompyuta yenye uwezo mkubwaGB 24 hadi 64 (kadi ya michoro au Mac yenye uwezo mkubwa)
- Sevazaidi ya GB 64
Inahitaji takriban GB 85.6 za kumbukumbu (RAM) ikibanwa hadi biti 4.
Ni kubwa mno kwa kompyuta ya kawaida: inaendeshwa kwenye seva zenye GPU nyingi, au kupitia kampuni zinazokodisha seva.
Matokeo ya majaribio
119ECI
Nafasi ya 190 kati ya modeli 258 zilizopimwa.
Kipimo cha Uwezo cha Epoch (ECI) kinajumlisha matokeo ya majaribio mengi kuwa alama moja, kama alama ya mtihani mkuu. Alama ya juu zaidi ndiyo bora.
- Sayansi ngumu (GPQA Diamond)Maswali ya biolojia, fizikia na kemia ya kiwango cha shahada ya uzamivu. Ukibahatisha unapata 25%.
- 34.1%
- Maarifa ya jumla (MMLU)Maswali ya kuchagua jibu katika masomo 57, kutoka historia hadi sheria. Kipimo maarufu cha modeli za zamani.
- 77.8%