Wie wir unsere Quellen bewerten: der Admiralty Code erklärt

Warum ein Katalog ein Bewertungssystem braucht

Jeder Eintrag in diesem Katalog beruht auf Belegen: einer Pressemitteilung, einer Fallstudie eines Anbieters, einem Fachartikel, einer Eingabe einer Aufsichtsbehörde oder manchmal nur einer Marketing-Landingpage. Diese Belege sind nicht gleichwertig. Die Behauptung, ein Versicherer habe ein bestimmtes KI-System eingeführt, hat je nachdem, wer das sagt und wie gut es bestätigt ist, ein ganz unterschiedliches Gewicht. Um dieses Urteil ausdrücklich zu machen, bewerten wir jede Quelle mit dem Admiralty Code — demselben zweiachsigen System, das Nachrichtendienstanalysten seit fast einem Jahrhundert verwenden.

Ursprung und Geschichte

Die Methode wird oft als Admiralty Code, NATO-System oder 6×6-System bezeichnet. Ihre Herkunft führt über den britischen Marinenachrichtendienst bis in die NATO-Doktrin. Heute ist sie in der NATO-STANAG 2511 kodifiziert (die die ältere STANAG 2022 ablöste) und in der Doktrinpublikation AJP-2.1 ausgeführt [1]. Die US-Armee führt eine nahezu identische Matrix im Field Manual FM 2-22.3, Human Intelligence Collector Operations (2006), Anhang B [2].

Die Grundidee ist bestechend einfach. Zu jeder Information werden zwei getrennte Fragen gestellt: Wie zuverlässig ist die Quelle (ein Buchstabe, A bis F), und wie glaubwürdig ist diese konkrete Information (eine Zahl, 1 bis 6). Eine Meldung wird dann mit einem kombinierten Code wie B2 oder C3 versehen.

Die beiden Skalen

Zuverlässigkeit der Quelle (A–F):

Glaubwürdigkeit der Information (1–6):

Der entscheidende Punkt: Die beiden Achsen sind unabhängig

Der Buchstabe beschreibt die Erfolgsbilanz der Quelle; die Zahl beschreibt diese konkrete Behauptung. Eine völlig zuverlässige Quelle (A) kann ein einzelnes, unbestätigtes Gerücht weitergeben (also A3 oder sogar A6). Umgekehrt könnte eine nicht prüfbare Quelle (F) etwas melden, das drei andere unabhängige Medien bereits bestätigen — was F1 ergibt. F1 ist das Lehrbuchbeispiel dafür, dass die beiden Dimensionen wirklich getrennt sind: Wir können den Boten nicht beurteilen, aber die Botschaft ist unabhängig bestätigt.

Wie man jede Note in der Praxis vergibt

Zuverlässigkeit (der Buchstabe) — wer spricht? Eine offizielle Pressemitteilung oder ein Geschäftsbericht des Versicherers selbst ist primär und verantwortlich; ein klares A vergeben wir selten, weil selbst Erstkommunikationen werblich sind, also ist gewöhnlich zuverlässig (B) die realistische Obergrenze. Etablierte Fachpresse und anerkannte Analysten sind B/C. Eine Anbieter-Fallstudie hat einen Anreiz zur Beschönigung und ist C/D, sofern der Versicherer nicht mitzeichnet. Anonymes oder dünnes Material ist D/E, nicht beurteilbare Ursprünge sind F.

Glaubwürdigkeit (die Zahl) — ist die Behauptung wahr? Die 1 behalten wir Behauptungen vor, die durch unabhängige Domains bestätigt sind — nicht drei Seiten, die alle auf dieselbe Ankündigung zurückgehen. Eine glaubwürdige Einzelquelle ist 2 oder 3. Die zentrale Regel für die 1 ist Unabhängigkeit: Fünf Kopien derselben Meldung sind eine Quelle, nicht fünf.

Die dokumentierten Schwächen

Wir übernehmen den Admiralty Code mit offenen Augen. Die früheste empirische Kritik, Baker, McKendry und Mace (1968), fand, dass die grosse Mehrheit der Bewertungen auf der Diagonalen lag — A1, B2, C3 —, was darauf hindeutet, dass die Achsen in der Praxis nicht getrennt wurden [3]. Samet (1975) fand ebenfalls, dass die meisten Offiziere die Skalen nicht unabhängig behandeln konnten [4]. Joseph und Corkill (2011) beobachteten oberflächliche, uneinheitliche Bewertung [5]; Irwin und Mandel (2019) argumentierten, dass solche Systeme Subjektivität eher verschleiern als disziplinieren, und empfahlen numerische Wahrscheinlichkeiten [6][7]. Neuere Experimente bestätigen, dass Zuverlässigkeitshinweise Urteile über Informationsqualität messbar verzerren [8]. Weil "nicht beurteilbar" (F/6) stets vertretbar ist, wird es zudem zu bereitwillig gewählt.

Wie dieser Katalog ihn anwendet

Mit diesen Vorbehalten nutzen wir den Admiralty Code als diszipliniertes Offenlegungsinstrument, nicht als Erzeuger falscher Präzision. Jede Katalogquelle trägt einen A–F-+-1–6-Code, für Lesende sichtbar. Unabhängige Bestätigung über getrennte Domains bewegt die Glaubwürdigkeitszahl Richtung 1. Und wir vergeben nie automatisch die höchste, menschlich geprüfte Stufe: Eine Pipeline darf eine Note vorschlagen, aber die "verifizierte" Stufe ist eine ausschliesslich menschliche Entscheidung — kein Algorithmus verleiht sich selbst ein A1. Das Ergebnis ist ehrlich statt schmeichelhaft: Eine unbestätigte Anbieter-Fallstudie ist vielleicht C3; eine quer durch die unabhängige Fachpresse aufgegriffene Versicherer-Ankündigung wird B1; eine schicke, aber nicht zugeordnete Landingpage E4 oder F6.

Quellen

• [1] NATO STANAG 2511 / Allied Joint Doctrine for Intelligence Procedures (AJP-2.1). ETURWG, George Mason University.
• [2] U.S. Department of the Army (2006). FM 2-22.3, Human Intelligence Collector Operations, Anhang B. PDF.
• [3] Baker, J. D., McKendry, J. M., & Mace, D. J. (1968). Certitude Judgments in an Operational Environment. DTIC.
• [4] Samet, M. G. (1975). Subjective Interpretation of Reliability and Accuracy Scales for Evaluating Military Intelligence. PDF.
• [5] Joseph, J., & Corkill, J. (2011). Information evaluation: how one group of intelligence analysts go about the task. DOI.
• [6] Irwin, D., & Mandel, D. R. (2019). Improving information evaluation for intelligence production. Intelligence and National Security, 34(4), 503–525. DOI.
• [7] Irwin, D., & Mandel, D. R. (2019). Standards for Evaluating Source Reliability and Information Credibility in Intelligence Production. SSRN.
• [8] Kelly, M. O., Budescu, D. V., Dhami, M. K., & Mandel, D. R. (2025). The effect of source reliability and information credibility on judgments of information quality. Judgment and Decision Making, 20, e7. DOI.