Forschung · offen
Studien
Geplante Tests von KI-Antworten. Jede Studie nennt ihren Umfang, ihre Stichprobe und ihre Grenzen vor ihrem Ergebnis.
Eine Feldnotiz ist eine Beobachtung. Eine Studie ist ein geplanter Test: Ihre Fragen stehen fest, bevor die KI-Systeme gefragt werden, jede Antwort wird aufbewahrt, und sie sagt, was das Ergebnis stützen kann und was nicht. Wo die Auswertung nicht vorab geplant war, sagt die Studie auch das.
0·001 explorative Studie, 1 präregistrierte Studie, 1 Beispiel
MF-2026-001 · Ergebnisse gelesen am 29. August 2026 (scope 08284347) · explorativ · Denes Csaszar · veröffentlicht auf denescsaszar.com
KI-Systeme formulieren eine Antwort selten zweimal gleich. Diese Studie stellte acht KI-Systemen achtzehn Fragen zu einem Unternehmen, in sieben Erhebungswellen zwischen dem 4. Juli und dem 25. August 2026, und verglich, wie ähnlich sich die Antworten innerhalb einer Welle waren, mit ihrer Ähnlichkeit über die Wellen hinweg. In 85 von 103 Zellen (Frage × KI-System) waren die Antworten über die Wellen hinweg weniger ähnlich als innerhalb einer Welle.
Die Studie ist explorativ, und ihr Ähnlichkeitsmaß vergleicht Wortlaut, nicht Fakten. Das Ergebnis ist um KI-System und Frage bereinigt, nicht um den Zeitraum: In diesem Archiv ist jede Welle zugleich eine Sitzung, daher kann sie nicht sagen, ob der Unterschied Veränderung über die Zeit ist.
Warum das hier zählt: Bevor irgendetwas auf dieser Website eine Antwort verändert nennt, muss die Antwort daran gemessen werden, wie stark sie sich von selbst bewegt. Diese Studie hat dieses Wiederholbarkeitsniveau gemessen.
Zur Studie (englisch) → Der Studieneintrag → Feldnotiz 001, die Beobachtung dahinter →
Zitieren als Csaszar, D. (2026). The floor test, scope 08284347. Makefield study MF-2026-001. https://denescsaszar.com/drift-2026-08
Was der Wiederholbarkeitstest nicht sehen kann
eine Veranschaulichung · erfundene Antworten · kein Ergebnis
Der Wiederholbarkeitstest vergleicht Wortlaut. Wortlaut und Fakten können auseinanderlaufen: Eine Antwort kann die meisten ihrer Wörter ändern und jede Tatsache behalten, oder fast jedes Wort behalten und eine Tatsache umdrehen. Unten eine Frage an sieben KI-Systeme in zwei Wellen, einmal auf den Wortlaut gelesen und einmal auf die Fakten. Jede Antwort hier ist erfunden, um den Unterschied zu zeigen; eine spätere Studie kann ihn an echten Antworten messen.
Die Frage Ist das Gerät wasserdicht? Referenzstandard: nein. Schutzart IP54, spritzwassergeschützt, nicht zum Untertauchen.
Geänderte Wörter sind rot unterstrichen. KI-System C behält die meisten seiner Wörter und dreht beide Fakten um; KI-System A ändert die meisten seiner Wörter und behält beide. Wortlaut ist hier der Anteil der Wörter, die zwei Antworten nicht teilen: das Gegenstück zur Ähnlichkeit, die der Wiederholbarkeitstest verwendet.
MF-2026-002 · präregistriert am 1. Oktober 2026 · erste Welle nach dem Start für den 4. Oktober geplant · noch kein Ergebnis
Dasselbe Instrument, auf Makefield selbst gerichtet. Neun Wellen wurden erfasst, während diese Website nicht öffentlich war; die Wellen nach dem 1. Oktober werden zeigen, was sich ändert, sobald sie es ist. Vier Vorhersagen wurden vor der ersten dieser Wellen geschrieben und mit Hashwert festgeschrieben, und jede wird als bewährt oder widerlegt veröffentlicht.
Zur Präregistrierung → Der Studieneintrag →
Zitieren als Csaszar, D. (2026). Does AI know Makefield? Registration, 1 October 2026. Makefield study MF-2026-002. https://makefield.io/studies/does-ai-know-makefield/
MF-2026-003-P · präregistrierte Pilotstudie, 12. Oktober 2026 · Sitzungen geplant für den 14. und 21. Oktober · noch kein Ergebnis
Dieselben zwölf Fragen an Claude, im Chatfenster und über die API, mit demselben Modell am selben Abend. Unterscheiden sich die Antworten stärker als dann, wenn dieselbe Frage einfach noch einmal gestellt wird? Die Vorhersagen wurden vor der ersten Antwort mit Hashwert festgeschrieben.
Zur Präregistrierung → Der Studieneintrag →
Zitieren als Csaszar, D. (2026). Same question, two ways in. Pilot registration, 12 October 2026. Makefield study MF-2026-003-P. https://makefield.io/studies/same-question-two-ways/
erfundene Daten · kein Ergebnis
Eine vollständige Messung mit erfundenen Daten: drei Fragen zu einem erfundenen Produkt, sieben anonymisierte KI-Systeme, zwei Sprachen, drei Durchläufe, der vorab festgeschriebene Referenzstandard, die Ergebnistabelle und ihr SHA-256-Hashwert. Sie zeigt, was eine echte Messung enthält, ohne eine zu veröffentlichen.
Zur Beispielmessung → Der Studieneintrag →
Die nächste Studie braucht zwei Forschungspartner: Unternehmen, die zustimmen, ihre eigenen veröffentlichten Fakten testen zu lassen, kostenlos, und die Ergebnisse als Erste sehen. So funktioniert es →
Weitere Studien sind in Vorbereitung. Jede erscheint hier, sobald ihre Daten und ihre Grenzen veröffentlichungsreif sind, und auch eine Studie, die nichts findet, wird aufgeführt.