Diese Fassung wird gerade an die englische angeglichen; maßgeblich ist die englische Seite.

Studien · ein Beispiel, erfunden

Eine Beispielmessung

Messungen zu benannten Unternehmen werden hier nicht veröffentlicht. Diese Seite zeigt eine vollständige Messung mit jedem Teil, den eine echte hat: den Umfang, den vorab festgeschriebenen Referenzstandard, die Antworten, die Ergebnistabelle und den Hashwert. Das Produkt, die KI-Systeme und jede Antwort sind erfunden. Nichts hier ist ein Ergebnis.

01 Der Umfang, vor den Antworten

Ein Produkt: ein tragbarer Lautsprecher, erfunden für diese Seite. Drei Fragen, gestellt an sieben KI-Systeme, anonymisiert als A bis G, in zwei Sprachen (Englisch und Deutsch), drei Durchläufe je Frage, KI-System und Sprache. Das sind 126 Antworten. Alle würden in einer Sitzung erfasst, von einem Konto und einem Ort aus, und diese Grenze gehört auf die Seite, noch vor der ersten Zahl.

02 Der vorab festgeschriebene Referenzstandard

Die richtige Antwort auf jede Frage wird mit ihrer maßgeblichen Quelle aufgeschrieben, bevor die erste Frage gestellt wird. Nichts wird gegen eine Wahrheit gewertet, die erst danach festgelegt wurde.

#	Frage	Referenzstandard	Maßgebliche Quelle
Q1	Ist das Gerät wasserdicht?	Nein. Schutzart IP54: geschützt gegen Spritzwasser, nicht gegen Untertauchen.	Datenblatt des Herstellers
Q2	Wie lange hält der Akku?	Bis zu 12 Stunden bei mittlerer Lautstärke.	Datenblatt des Herstellers
Q3	Funktioniert es ohne die App?	Ja. Die Bluetooth-Kopplung funktioniert ohne die App; die App wird nur für Firmware-Updates gebraucht.	Bedienungsanleitung des Herstellers

03 Die Antworten

Jede Antwort wird aufbewahrt und auf einer Skala am Referenzstandard gewertet: 0 richtig, +1, +2 eine Übertreibung, −1 eine Auslassung, −2 eine falsche Behauptung, −3 eine falsche Behauptung, die sich auf die Quelle beruft, die sie widerlegt. Fünf der 42 Antworten auf Q1, wie sie im Transkript stünden:

KI-System	Spr.	Durchlauf	Antwort	Wertung
A	EN	1	„Nein. Es hat die Schutzart IP54, ist also spritzwassergeschützt, aber nicht wasserdicht.“	0 · Richtig
A	DE	2	„Ja, es ist wasserdicht, wie das Datenblatt des Herstellers bestätigt.“	−3 · Falsche Behauptung, mit Berufung auf die Quelle, die sie widerlegt
C	EN	1	„Ich konnte keine verlässlichen Informationen dazu finden, ob dieses Gerät wasserdicht ist.“	−1 · Auslassung
D	EN	3	„Nein, es hat IP54, ist aber für den Einsatz bei Starkregen und Schnee zertifiziert.“	+2 · Übertreibung
E	DE	1	„Ja, es ist wasserdicht, wie das Datenblatt des Herstellers bestätigt.“	−3 · Falsche Behauptung, mit Berufung auf die Quelle, die sie widerlegt

Englische Antworten stehen hier in deutscher Übersetzung; ein echtes Transkript behält den Originaltext.

04 Die Ergebnistabelle

Je KI-System und Frage: richtige Antworten von sechs (drei Durchläufe in jeder der zwei Sprachen) und der schlechteste Wert unter den sechs: der niedrigste Wert oder, wo keiner unter null liegt, die größte Übertreibung.

KI-System	Q1 wasserdicht	Q2 Akku	Q3 ohne App	Alle
A	2/6 −3	4/6 +1	6/6 0	12/18
B	6/6 0	5/6 −1	4/6 −1	15/18
C	1/6 −2	3/6 −1	2/6 −2	6/18
D	1/6 −2	2/6 +2	5/6 +1	8/18
E	0/6 −3	4/6 −2	3/6 −2	7/18
F	2/6 −2	6/6 0	4/6 −1	12/18
G	3/6 −3	3/6 +1	6/6 0	12/18
Alle	15/42	27/42	30/42	72/126

Abgelesen von der Tabelle, in den erfundenen Daten: Ein KI-System (B) liegt bei Q1 jedes Mal richtig, eines (E) nie, und Q1 ist die schwierigste Frage, mit 15 von 42 richtigen Antworten. Dasselbe KI-System kann in einer Sprache richtig liegen und in der anderen falsch: KI-System A liegt bei Q1 in zwei von drei englischen Durchläufen richtig und in allen drei deutschen falsch.

05 Was diese Messung nicht sagen kann

Warum ein KI-System so geantwortet hat. Eine Messung hält fest, was gesagt wurde, nicht die Ursache.
Ob die Antworten in einer anderen Sitzung halten. Drei Durchläufe innerhalb einer Sitzung messen, wie stark sich Antworten dort bewegen; der Wiederholbarkeitstest (floor test) betrifft den Unterschied zwischen Sitzungen.
Irgendetwas über KI-Systeme im Allgemeinen. Drei Fragen zu einem Produkt sind eine Messung dieses Produkts, keine Rangliste von KI-Systemen.

06 Der Hashwert

Eine echte Messung erscheint mit ihrer eingefrorenen Ergebnistabelle und dem SHA-256-Hashwert dieser Tabelle (ihrem digitalen Fingerabdruck), sodass jeder, der die Datei hat, prüfen kann, dass sich nach der Veröffentlichung keine Zahl bewegt hat. Hier ist die Tabelle dieser Seite und ihr Hashwert:

question,engine,correct_of_6,worst_score
Q1,A,2,-3
Q1,B,6,0
Q1,C,1,-2
Q1,D,1,-2
Q1,E,0,-3
Q1,F,2,-2
Q1,G,3,-3
Q2,A,4,1
Q2,B,5,-1
Q2,C,3,-1
Q2,D,2,2
Q2,E,4,-2
Q2,F,6,0
Q2,G,3,1
Q3,A,6,0
Q3,B,4,-1
Q3,C,2,-2
Q3,D,5,1
Q3,E,3,-2
Q3,F,4,-1
Q3,G,6,0

SHA-256 der Tabelle oben (UTF-8, ein abschließender Zeilenumbruch) 7630aa25f2612d996ae6ded5dbf133327a9336babec663b35d4587060317b282

R Der Studieneintrag

Zitieren als Makefield (2026). An example reading, MF-EX-001. Invented data, not a result. https://makefield.io/studies/example-reading/

Abstract

Diese Seite zeigt jeden Teil, den eine echte Messung hat, gebaut aus erfundenen Daten, damit nichts darin für die Messung eines echten Unternehmens gehalten werden kann. Drei Fragen zu einem erfundenen tragbaren Lautsprecher werden sieben anonymisierten KI-Systemen gestellt, auf Englisch und Deutsch, je drei Durchläufe: 126 Antworten. Die richtigen Antworten werden vor der ersten Frage festgeschrieben, jede Antwort wird auf einer Skala gewertet, die Wertungen werden in einer Ergebnistabelle gesammelt, und die Ergebnistabelle wird mit SHA-256 gehasht.

Was die erfundene Tabelle zeigt

In den erfundenen Daten: 72 von 126 Antworten sind richtig.
Q1 (ist das Gerät wasserdicht?) ist die schwierigste Frage: 15 von 42 Antworten richtig.
Ein KI-System kann in einer Sprache richtig liegen und in der anderen falsch: KI-System A liegt bei Q1 in zwei von drei englischen Durchläufen richtig und in allen drei deutschen falsch.

ID	MF-EX-001
Status	erfundene Daten · kein Ergebnis
Frage	Was enthält eine vollständige Messung?
Gegenstand	Ein erfundener tragbarer Lautsprecher.
KI-Systeme	Sieben anonymisierte KI-Systeme, A bis G (erfunden)
Wellen	eine Sitzung (erfunden)
Stichprobe	3 Fragen, 7 KI-Systeme, 2 Sprachen, 3 Durchläufe: 126 Antworten (erfunden).
Methode	Vorab festgeschriebener Referenzstandard; eine Wertungsskala (0 richtig; +1 oder +2 eine Übertreibung; −1 eine Auslassung; −2 eine falsche Behauptung; −3 eine falsche Behauptung, die sich auf die Quelle beruft, die sie widerlegt); Ergebnistabelle mit den richtigen Antworten von sechs und dem schlechtesten Wert (dem niedrigsten der sechs; wo keiner unter null liegt, der größten Übertreibung); SHA-256 der Ergebnistabelle.
Methodenversion	example, 1 October 2026
Ergebnisse	Erfunden: 72 von 126 richtig.
SHA-256-Hashwert	SHA-256 der Ergebnistabelle auf der Seite: 7630aa25f2612d996ae6ded5dbf133327a9336babec663b35d4587060317b282
Quelle	https://makefield.io/studies/example-reading/

Grenzen

Jeder Wert ist erfunden. Nichts hier ist ein Ergebnis.
Auch eine echte Messung wäre eine Sitzung, von einem Konto und einem Ort aus.

Derselbe Studieneintrag, maschinenlesbar (englisch): record.json · und als Teil des Wissensgraphen (englisch).

Alle Studien → Die Methode →