Wiederholbarkeitstest (floor test)

R Der Studieneintrag

Zitieren als Csaszar, D. (2026). The floor test, scope 08284347. Makefield study MF-2026-001. https://denescsaszar.com/drift-2026-08

Abstract

KI-Systeme formulieren eine Antwort selten zweimal gleich. Diese Studie stellte acht KI-Systemen achtzehn Fragen zu einem Unternehmen, Makefield, in sieben Erhebungswellen zwischen dem 4. Juli und dem 25. August 2026. Innerhalb jeder Welle legen die wiederholten Antworten eines KI-Systems auf eine Frage das eigene Wiederholbarkeitsniveau dieser Zelle fest: wie viel Wortlaut die Wiederholungen teilen. Eine Zelle gilt nur dann als bewegt, wenn ihre Antworten aus zwei Wellen weniger Wortlaut teilen als dieses Wiederholbarkeitsniveau. Von den 103 Zellen (Frage × KI-System), die ein Wiederholbarkeitsniveau haben, bewegten sich 85. Die Studie ist explorativ: Die Auswertung wurde festgelegt, nachdem die Daten vorlagen, das Maß vergleicht Wortlaut und nicht Fakten, und jede Welle ist zugleich eine Sitzung, sodass das Ergebnis Veränderung über die Zeit nicht von einem Unterschied zwischen Sitzungen trennen kann.

Zentrale Ergebnisse

• 85 der 103 Zellen mit einem Wiederholbarkeitsniveau (82,5 Prozent) waren über die Wellen hinweg weniger ähnlich als innerhalb einer Welle. Unter einer Permutations-Nullverteilung wären 40,9 Prozent durch Zufall zu erwarten (laut der veröffentlichten Zusammenfassung).
• Wiederholte Antworten innerhalb einer Welle teilen schon wenig Wortlaut: Der Median der Ähnlichkeit innerhalb einer Welle liegt bei 0,266, zwischen den Wellen bei 0,183 (Jaccard über Mengen von Inhaltswörtern).
• Innerhalb derselben Zelle ergab der längste Abstand zwischen den Wellen in 87 von 108 Zellen weniger ähnliche Antworten als der kürzeste; Median der Differenz minus 0,047.

Grenzen

• Explorativ: Die Auswertung wurde festgelegt, nachdem die Daten vorlagen.
• Die Ähnlichkeit vergleicht Wortlaut, nicht Fakten. Sie ist eine Untergrenze der Ähnlichkeit, keine Deutung des Sinns.
• Jede Welle ist zugleich eine Sitzung, daher ist das Ergebnis um KI-System und Frage bereinigt, nicht um den Zeitraum.
• Ein einziger Gegenstand, gewählt, weil wenig darüber veröffentlicht ist; nichts davon lässt sich auf ein Unternehmen übertragen, das die KI-Systeme bereits kennen.
• Nichts hier zeigt, warum sich etwas geändert hat. Kein Eingriff wurde kontrolliert.
• Die Fragen sind nicht veröffentlicht.
• Die acht KI-Systeme werden von sieben Unternehmen betrieben, und die Erfassung erfolgte auf eine Weise, die die Nutzungsbedingungen von sechs dieser sieben Unternehmen untersagen. Die Studienseite nennt für jeden Anbieter Dokument und Klausel.
• 38 der 103 Wiederholbarkeitsniveaus beruhen auf einem einzigen Paar wiederholter Antworten; diese Niveaus sind daher grob.
• Die meisten Rohantworten sind nicht mehr vorhanden (siehe Korrekturen). Jede Zahl lässt sich aus den drei veröffentlichten Datendateien nachrechnen; der Schritt von den Rohantworten zu diesen Dateien lässt sich nicht vollständig wiederholen.

Korrekturen

• 19. Oktober 2026: Die Rohantworten hinter dieser Studie sind größtenteils nicht mehr vorhanden. Die Erfassungsmanifeste listen 149 Dateien mit Rohantworten für die sieben Wellen; am 19. Oktober 2026 waren 27 davon vorhanden und 122 nicht: Die vier Juli-Wellen sind vollständig (22 von 22 Dateien), die drei August-Wellen nicht (5 von 127). Der Computer, auf dem die Dateien lagen, fiel im September 2026 aus; die Juli-Dateien blieben in einer früheren Kopie erhalten. Die drei veröffentlichten Datendateien stimmen weiterhin mit ihrem SHA-256 überein, und jede Zahl lässt sich aus ihnen nachrechnen, aber der Schritt von den Rohantworten zu diesen Dateien lässt sich nicht vollständig wiederholen. An der Studie, ihren Zahlen und ihren Datendateien hat sich nichts geändert.

Replizieren oder kritisieren

• Die drei Datendateien sind unter CC BY 4.0 mit ihrem SHA-256-Hashwert veröffentlicht, und die Zusammenfassungsdatei enthält die Seeds und die Zahl der Replikate, sodass sich jede Zahl aus den Zellen nachrechnen lässt.
• Die Fragen sind nicht veröffentlicht. Die Studie mit denselben Fragen vollständig zu wiederholen, ist mit den veröffentlichten Dateien daher nicht möglich; die Methode auf eigene Fragen anzuwenden ist es, ebenso eine Neuauswertung der veröffentlichten Zellen.
• Kritik an der Methode, am Maß oder an der Deutung ist willkommen: schreib an hello@makefield.io.

Derselbe Studieneintrag, maschinenlesbar (englisch): record.json · und als Teil des Wissensgraphen (englisch).