Claude 3 Opus
Claude 3 Opus ni modeli ya lugha, kutambua picha na uchakataji wa data mseto iliyoundwa na Anthropic (Marekani), iliyotolewa 4 Machi 2024.
Ni funge: unaitumia kupitia tovuti, programu au API ya kampuni iliyoiunda. Uzito wake haujatolewa.
Ilipotoka, ilivunja rekodi katika kazi yake.
Ilikuwa moja ya modeli ghali zaidi kufunzwa kwa wakati wake.
Naweza kuiendesha mwenyewe?
Hapana. Ni modeli funge.
Uzito wake hauwezi kupakuliwa, kwa hivyo haiwezi kuendeshwa kwenye kifaa chako.
Matokeo ya majaribio
126ECI
Nafasi ya 174 kati ya modeli 258 zilizopimwa.
Kipimo cha Uwezo cha Epoch (ECI) kinajumlisha matokeo ya majaribio mengi kuwa alama moja, kama alama ya mtihani mkuu. Alama ya juu zaidi ndiyo bora.
- Sayansi ngumu (GPQA Diamond)Maswali ya biolojia, fizikia na kemia ya kiwango cha shahada ya uzamivu. Ukibahatisha unapata 25%.
- 47.2%
- Ukweli wa majibu (SimpleQA Verified)Maswali mafupi ya ukweli: hupima kama modeli inajua jibu badala ya kubuni.
- 12.6%
- Mashindano ya hesabu (AIME)Maswali ya mashindano ya hesabu ya wanafunzi wa sekondari ya juu.
- 4.7%
- Maarifa ya jumla (MMLU)Maswali ya kuchagua jibu katika masomo 57, kutoka historia hadi sheria. Kipimo maarufu cha modeli za zamani.
- 84.6%
- Urefu wa kazi (METR)Muda ambao mtaalamu angetumia kwenye kazi ambayo modeli inaweza kuikamilisha kwa asilimia 50 ya majaribio.
- dakika 4