Live18 models · 2 open source · avg 37.1
U
Unknown
18
Total Models
tracked on BenchGecko
2
Open Source
11% of models
n/a
Cheapest Model
No pricing data
37.1
Avg Benchmark
across 18 scored models
Model Categories
LLM18
Open Source Ratio
11%
2 open source16 proprietary
All Unknown Models18 total
| #▲ | Model | Avg | aider edit | aider poly? | ANLI? | APEX-Agents? | ARC AI2? | ARC-AGI? | ARC-AGI-2? | aa agentic? | aa coding ? | aa quality | aa critpt | aa gdpval | aa gpqa di | aa humanit | aa ifbench | aa long co | aa mmmu pr | aa scicode | aa tau2 be | aa termina | seal audio | seal audio | seal audio | Balrog? | BBH? | hf bbh | C-Eval | CadEval? | charxiv re? | charxiv re? | arena elo | arena elo | chess puzz? | Cl Bench | cl bench l | CMMLU | CSQA2 | Cybench? | deepresear? | Deepswe | Dtbench | Ebr Bench | EnigmaEval | Exploitbench | fiction li? | Fortress | Frontiercode | frontierma? | frontierma? | frontierma | frontierma | Frontierswe | furniture | Gdpval | GeoBench? | GPQA | GPQA diamond? | graphwalks? | GSM8K? | GSO-Bench? | HellaSwag? | HELM — GPQA | helm ifeva | helm mmlu | helm omni | helm wildb | HLE? | hle tools | seal human | seal human | IFEval | jp jcommon | JHumanEval | JMMLU | JNLI | JSQuAD | LAMBADA? | lech mazur? | livebench | livebench | livebench | livebench | livebench | livebench | livebench | livebench | jp overall | Lmca | MASK | MATH level 5? | MATH Level 5 | MCP Atlas | metr time | Mirrorcode | MMLU? | MMLU-PRO | MMMLU | mmmlu ar | mmmlu bn | mmmlu zh | mmmlu fr | mmmlu de | mmmlu hi | mmmlu id | mmmlu it | mmmlu ja | mmmlu ko | mmmlu pt | mmmlu es | mmmlu sw | mmmlu yo | seal multi | MultiNRC | MUSR | mystery ga | OpenBookQA? | oc aime202 | oc gpqa di | oc hle | oc ifeval | oc livecod | oc mmlu pr | OSWorld? | Osworld 2 0 | otis mock ? | PIQA? | posttrainb | seal pro r | seal pro r | Proofbench | seal prope | remote lab | seal remot | ScienceQA? | SciPredict | SimpleBench? | simpleqa v? | SpireClimb | surface ev | seal swe a | seal swe a | swe bench | swe bench | swe bench | seal swe b | seal swe b | swe bench ? | swe bench ? | terminal b? | the agent ? | TriviaQA? | TutorBench | USAMO | VideoMME? | VISTA | seal visua | VPCT? | WeirdML? | Winogrande? | $/1M in | Context | Released |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | U PaLM 2-L Unknown | 81.8 | - | - | - | - | 58.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 82.4 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 86.1 | - | - | - | - | - | - | - | 66.0 | n/a | - | Jan 242y ago |
| 2 | U PaLM 2-M Unknown | 68.1 | - | - | - | - | 53.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 78.7 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 43.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 81.7 | - | - | - | - | - | - | - | 58.4 | n/a | - | Jan 242y ago |
| 3 | U PaLM 2-S Unknown | 61.7 | - | - | - | - | 46.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 76.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 41.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 75.2 | - | - | - | - | - | - | - | 55.8 | n/a | - | Jan 242y ago |
| 4 | U internlm-20b Unknown | 60.3 | - | - | - | - | 75.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 36.7 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 62.9 | - | 70.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 71.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 34.7 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 60.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | n/a | - | Jan 242y ago |
| 5 | U Stable Beluga 2 Unknown | 60.1 | - | - | - | - | 81.5 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 59.1 | 41.3 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 8.8 | - | - | 69.6 | - | 78.8 | - | - | - | - | - | - | - | - | - | 37.9 | - | - | - | - | - | 71.3 | - | - | - | - | - | - | - | - | - | - | - | - | - | 4.4 | - | - | - | 58.1 | 25.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 18.6 | - | - | - | - | - | - | - | - | - | - | - | 66.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | n/a | - | Jan 242y ago |
| 6 | U Nemotron-4 15B Unknown | 58.9 | - | - | - | - | 40.7 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 44.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 46.0 | - | 76.5 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 44.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 64.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 56.0 | n/a | - | Jan 242y ago |
| 7 | U Yi 6B UnknownOpen | 40.4 | - | - | - | - | 33.7 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 29.6 | 35.5 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 15.6 | 0.0 | - | 44.9 | - | 65.9 | - | - | - | - | - | - | - | - | - | 30.5 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 5.2 | 5.1 | - | - | - | 52.0 | 37.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 9.7 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 42.6 | n/a | - | Jan 242y ago |
| 8 | U Baichuan 2-7B Unknown | 39.1 | - | - | - | - | 10.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 22.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 24.6 | - | 57.3 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 73.3 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 38.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 56.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | n/a | - | Jan 242y ago |
| 9 | U XGen-7B Unknown | 32.1 | - | - | - | - | 21.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 65.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 15.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 20.3 | - | - | - | - | - | - | - | - | - | 51.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 29.8 | n/a | - | Jan 242y ago |
| 10 | U MPT-30B Unknown | 32.0 | - | - | - | - | 34.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 17.3 | 6.5 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 1.3 | - | - | 34.4 | - | 68.5 | - | - | - | - | - | - | - | - | - | 21.5 | - | - | - | - | - | 70.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | 1.6 | - | - | - | 30.5 | 2.3 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 2.9 | - | 36.0 | - | - | - | - | - | - | - | - | - | 63.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 73.6 | - | - | - | - | - | - | - | 42.0 | n/a | - | Jan 242y ago |
| 11 | U StarCoder 2 15B UnknownOpen | 30.5 | - | - | - | - | 29.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 20.4 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 3.1 | - | - | 57.7 | - | - | - | - | - | - | - | - | - | - | - | 27.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 6.0 | - | - | - | 52.1 | 15.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 2.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 28.6 | n/a | - | Jan 242y ago |
| 12 | U vicuna-13b-v1.1 Unknown | 30.2 | - | - | - | - | 24.3 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 24.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 28.1 | - | 43.7 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 10.7 | - | - | - | - | - | - | - | - | - | 54.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 41.6 | n/a | - | Jan 242y ago |
| 13 | U Dolly 2.0-12b Unknown | 26.3 | - | - | - | - | 19.5 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 61.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 1.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 18.9 | - | - | - | - | - | - | - | - | - | 50.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 23.6 | n/a | - | Jan 242y ago |
| 14 | U Baichuan1-7B Unknown | 21.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 10.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 9.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 23.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 52.4 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | n/a | - | Jan 242y ago |
| 15 | U INTELLECT-1 Unknown | 20.9 | - | - | - | - | 39.4 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 13.1 | 1.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 0.0 | - | - | 38.6 | - | 61.9 | - | - | - | - | - | - | - | - | - | 17.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 0.0 | - | - | - | 33.2 | 1.3 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 4.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 31.6 | n/a | - | Jan 242y ago |
| 16 | U RedPajama-INCITE-7B-Base Unknown | 17.4 | - | - | - | - | 18.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 5.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 0.7 | - | - | - | - | 60.4 | - | - | - | - | - | - | - | - | - | 20.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 1.6 | - | - | - | 1.7 | 2.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 3.0 | - | 20.0 | - | - | - | - | - | - | - | - | - | 53.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 27.6 | n/a | - | Jan 242y ago |
| 17 | U Magistral Small 1.1 Unknown | 16.9 | - | - | - | - | - | 5.0 | 0.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 31.2 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 29.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | n/a | - | Jan 242y ago |
| 18 | U stablelm-tuned-alpha-7b Unknown | 0.5 | - | - | - | - | 2.7 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 953.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 20.9 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 9.9 | - | - | - | - | - | - | - | - | - | 31.6 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 3.0 | n/a | - | Jan 242y ago |
90+ Gold 80-89 70-79 60-69 <60Scores in % unless noted. Avg = unweighted mean across tested benchmarks.
About Unknown
Quick answers · sourced from our data
How many models does Unknown have?
BenchGecko tracks 18 models from Unknown, of which 2 (11%) are open source. Every entry is updated daily from live provider feeds.
What is the best model from Unknown?
PaLM 2-L is currently the highest scoring Unknown model we track, with an average benchmark score of 73.4. Scores are computed across every public benchmark we have data for.
How does Unknown compare on benchmarks?
Unknown models average 37.1 across the benchmarks we track · see the All Providers page for the full ranking by model count, open source ratio, and average score.
Is Unknown open source?
2 of 18 Unknown models are open source (11%). The rest are proprietary · closed weights served via API.