Wie wird KI-„Intelligenz“ gemessen? Ein Blick in den Intelligence Index
Der eine Wert, der Sprachmodelle auf unserer AI-Modelle-Seite einordnet — woraus er besteht, wie er berechnet wird und wie man ihn liest, ohne ihm blind zu vertrauen.
Kurzfassung für Entscheider
Der Intelligence Index ist ein einzelner Wert von 0–100, mit dem sich KI-Sprachmodelle auf einen Blick einordnen lassen — höher bedeutet leistungsfähiger. Es ist kein einzelner Test, sondern ein gewichteter Durchschnitt vieler unabhängiger Benchmarks zu Reasoning, Wissen, Mathematik, Programmierung und agentischer Werkzeugnutzung, veröffentlicht und durchgeführt von Artificial Analysis. Drei Dinge sind für Entscheider wichtig: Es ist eine relative Einordnungshilfe, kein absolutes Mass für den Geschäftswert; es ist rein textbasiert und englischsprachig, für jedes Modell identisch durchgeführt, damit der Vergleich fair ist; und es ist versioniert und wird regelmässig neu gewichtet, wenn ältere Tests ausgereizt sind — vergleichen Sie daher nur Modelle derselben Index-Version. Lesen Sie ihn stets zusammen mit Preis und Geschwindigkeit: Das fähigste Modell ist selten das günstigste oder schnellste, und unser AI-Modelle-Dashboard zeigt genau diesen Zielkonflikt.
Was der Intelligence Index wirklich ist
Jedes führende Labor nennt sein Modell das klügste. Der Intelligence Index ersetzt Marketing durch eine einzige, vergleichbare Zahl, die entsteht, indem jedes Modell dieselbe Reihe schwerer Tests unter denselben Bedingungen durchläuft und die Ergebnisse kombiniert werden. Ein Wert in den hohen 50ern liegt heute klar an der Spitze; ein Wert im niedrigen Bereich kennzeichnet ein kleines oder älteres Modell. Der Nutzen ist relativ: Er sagt, wie Modelle zueinander stehen — nicht, ob ein Modell Ihre konkrete Aufgabe meistert.
Die Benchmarks hinter der Zahl
Der Index speist sich aus rund einem Dutzend öffentlicher Evaluierungen, die je eine andere Fähigkeit prüfen. Der genaue Satz entwickelt sich weiter, die Familien sind aber stabil:
| Benchmark | Was geprüft wird | Fähigkeitsbereich |
|---|---|---|
| MMLU-Pro | Expertenwissen über 50+ Fachgebiete (schwereres MMLU) | Wissen |
| GPQA Diamond | „google-sichere“ Fragen auf Master-Niveau in Biologie, Physik, Chemie | Wissenschaftliches Reasoning |
| Humanity’s Last Exam (HLE) | Akademische Spitzenfragen aus vielen Disziplinen | Wissenschaftliches Reasoning |
| AIME | Mathematik auf Wettbewerbsniveau | Mathematik |
| LiveCodeBench | Aktuelle, kontaminationsresistente Programmieraufgaben | Programmierung |
| SciCode | Code für echte wissenschaftliche Rechenaufgaben | Programmierung |
| Terminal-Bench | End-to-end Software- & Sysadmin-Arbeit in einer echten Shell | Programmierung / Agenten |
| IFBench | Präzise, mehrteilige Anweisungen befolgen | Allgemein |
| AA-LCR | Reasoning über lange (~100k-Token) Dokumente | Allgemein |
| τ-Banking (agentisch) | Mehrstufige Kundenservice-Aufgaben mit Werkzeugen | Agenten |
Jeder Test ist gewählt, weil er schwer, trennscharf und schwer manipulierbar ist — mehrere nutzen bewusst frische oder zurückgehaltene Fragen, um Auswendiglernen aus den Trainingsdaten zu begrenzen.
Wie aus einem Dutzend Tests eine Zahl wird
Die einzelnen Benchmarks werden zunächst auf vergleichbare Skalen normalisiert (die meisten als pass@1 — das Modell muss im ersten Versuch richtig liegen; einige, etwa agentische Aufgaben, werden per Elo-Vergleich bewertet und dann reskaliert). Anschliessend werden sie zu wenigen Fähigkeitskategorien gebündelt — grob Reasoning & Wissen, Mathematik, Programmierung sowie agentische/Werkzeug-Nutzung — und der Index ist der gewichtete Durchschnitt über diese Kategorien. Die Gewichtung belohnt bewusst die für echte Arbeit wichtigsten Fähigkeiten und wird mit jeder Index-Version angepasst. Weil das Rezept vollständig offengelegt ist, ist die Zahl reproduzierbar und keine Blackbox — die Methodik-Seite listet die aktuellen Evaluierungen und Gewichte.
Wie die Tests durchgeführt werden
Vergleichbarkeit entsteht dadurch, dass alles gleich abläuft:
- Zero-Shot-Prompting — klare Anweisungen ohne Beispiele, damit der Test das Modell misst und nicht das Prompt-Engineering.
- Festes Sampling — Temperatur 0 für Standardmodelle und eine niedrige feste Temperatur (um 0,6) für Reasoning-Modelle, gemäss Empfehlung des jeweiligen Labors.
- Wiederholungen und Mittelung — die meisten Fragen werden mehrfach (typisch 3–5) ausgeführt und aggregiert, damit ein einzelner Glücks- oder Pechlauf den Wert nicht verzerrt.
- Automatisierte, geprüfte Bewertung — Multiple-Choice wird per robuster Mustererkennung extrahiert; offene und mathematische Antworten werden von einem Prüfer kontrolliert (symbolische Matheprüfung plus ein „Gleichheitsprüfer“-Modell) statt per fragilem Textabgleich; Code wird in einer Sandbox ausgeführt und gegen Testsuiten geprüft.
Reasoning-Modelle und „Effort“
Moderne Modelle können vor der Antwort „nachdenken“, und viele bieten eine Effort- bzw. Reasoning-Stufe (niedrig → hoch). Mehr Effort bedeutet meist höhere Werte — und deutlich mehr Ausgabe-Tokens, Latenz und Kosten. Deshalb erscheint dieselbe Modellfamilie auf unserem Dashboard mehrfach mit unterschiedlichen Effort-Stufen: Jede Konfiguration ist ein anderer Punkt auf der Kurve aus Fähigkeit und Kosten, daher halten wir sie getrennt.
Was der Wert nicht sagt
Eine einzelne Zahl verleitet zu übermässigem Vertrauen — lesen Sie sie mit diesen Vorbehalten:
- Rein textbasiert und englischsprachig. Bildverstehen, Sprache und Mehrsprachigkeit werden separat gemessen und stecken nicht in diesem Wert.
- Nicht Ihr Anwendungsfall. Ein Modell an der Indexspitze kann bei Ihren Dokumenten, Ihrem Ton oder Ihrer Domäne hinter einem günstigeren zurückliegen. Nutzen Sie ihn zur Vorauswahl — und testen Sie dann.
- Benchmark-Kontamination ist real. Einige Datensätze wurden gegen bestimmte frühere Modelle kuratiert; die Methodik weist aus, wo direkte Vergleiche nicht empfohlen werden.
- Er verändert sich. Ausgereizte Tests werden ersetzt und neu gewichtet — ein Wert ist nur innerhalb seiner Index-Version und seines Datums aussagekräftig.
Wie Sie ihn auf dieser Seite lesen
Im AI-Modelle-Dashboard ist der Intelligence Index die vertikale Achse des Haupt-Diagramms und eine sortierbare Spalte in der Tabelle. Der sinnvolle Schritt ist nicht „die höchste Zahl wählen“, sondern die Frontier finden: die Modelle, die das meiste an Intelligenz zu akzeptablem Preis und Tempo liefern. Die Daten werden täglich aktualisiert; der volle Verdienst für die zugrunde liegenden Messungen gebührt Artificial Analysis.