Fugaku-LLM

Fugaku-LLM ni modeli ya lugha iliyoundwa na CyberAgent, Fujitsu, Kotoba Technologies, Nagoya University, RIKEN, Tohoku University na Tokyo Institute of Technology (Japani), iliyotolewa 10 Mei 2024.

Uzito wake (weights) uko wazi: mtu yeyote anaweza kuipakua, kuiendesha na kuitumia hata kibiashara.

Ina vigezo (parameters) bilioni 13.

Naweza kuiendesha mwenyewe?

Ndiyo, kwenye kompyuta mpakato au kifaa chenye uwezo mkubwa zaidi.

  1. SimuRAM ya GB 6–8
  2. Kompyuta mpakatoRAM ya GB 16
  3. Kompyuta yenye uwezo mkubwaGB 24 hadi 64 (kadi ya michoro au Mac yenye uwezo mkubwa)
  4. Sevazaidi ya GB 64

Inahitaji takriban GB 8.8 za kumbukumbu (RAM) ikibanwa hadi biti 4.

Programu kama Ollama au LM Studio zinapakua na kuendesha modeli kwenye kompyuta yako, bila intaneti.

Modeli nyingine za CyberAgent

  1. SwallowTokyo Institute of TechnologyApr 2024Lugha
    Wazi, kwa masharti70MSimu
  2. Calm2-7BCyberAgentNov 2023Lugha
    Wazi7BKompyuta mpakato
  3. OpenCALMCyberAgentMei 2023Lugha
    Wazi7BKompyuta mpakato
  4. (ensemble): AWD-LSTM-DOC (fin) × 5 (WT2)NTT Communication Science Laboratories na Tohoku UniversityAgo 2018Lugha
    Wazi185MSimu