Studien · präregistrierte Pilotstudie, noch kein Ergebnis

Dieselbe Frage, zwei Zugänge

Viele Menschen fragen einen KI-Assistenten in seinem Chatfenster. Entwickler, und manche Tools, die berichten, was KI über Unternehmen sagt, fragen denselben Assistenten über seine API. Diese Pilotstudie stellt Claude dieselben Fragen auf beiden Wegen, mit demselben Modell am selben Abend, und misst, ob sich die Antworten stärker unterscheiden als dann, wenn dieselbe Frage einfach noch einmal gestellt wird.

01 Warum diese Frage

Tools, die KI-Antworten verfolgen, sammeln sie auf unterschiedliche Weise: manche über das Chatfenster, so wie ein Nutzer es sieht, manche über die API. Mehrere sagen, dass beide Wege unterschiedliche Antworten liefern; kaum eines hat gemessen, wie unterschiedlich, verglichen damit, wie stark sich Antworten von selbst bewegen, wenn sich nichts ändert. Diese zweite Zahl hat der Wiederholbarkeitstest (floor test) (englisch) gemessen, und sie ist hier der Maßstab.

02 Was es vor dieser Präregistrierung gibt

• Ein erster Blick auf ältere Antworten, am 12. Oktober 2026, stellte Chat-Antworten von Claude vom 2. und 3. Oktober neben API-Antworten vom 4. Oktober. Über die beiden Zugänge hinweg teilten die Antworten weit weniger Wörter als Wiederholungen auf einem Zugang. Dieser Blick hat aber das Modell und den Tag zugleich geändert und sagt deshalb nichts über den Zugang selbst. Er ist kein Ergebnis.
• Die Vorhersagen unten wurden nach diesem ersten Blick geschrieben, und sie sagen es.

03 Die Präregistrierung

Das ist der Text, über den der Hashwert berechnet ist. Er wird nach der ersten Antwort nicht bearbeitet; jede spätere Korrektur kommt darunter, datiert, mit beiden Fassungen. Er bleibt hier im englischen Original, weil der Hashwert über genau diese Zeichen berechnet ist: eine Übersetzung hätte einen anderen.

Same question, two ways in. Pilot registration, 12 October 2026, before the first answer.

Question: asked the same question on the same evening, do Claude's answers through the developer API differ from its answers in the claude.ai chat window by more than repeat answers on one route differ from each other?
Routes: the claude.ai chat window (free account, signed in, Berlin, saved by Makefield's own browser tool, a fresh chat for every answer) and the Claude API with the same model and the same effort level the chat window shows, with web search on. The API without web search is a third route, used as a reference.
What "same model" does not cover: the chat window's own instructions, its own choice whether and how to search, and any setting it does not show. Those belong to the route and are part of what is measured.
Questions: 12, in English. Six drawn at random from the 22 questions of "Does AI know Makefield?" (MF-2026-002), six about well-known subjects. They are published with the result. Each question is asked 5 times on each route.
Pairing: each API answer is requested after its chat answer, at most about 12 minutes later.
Sittings: two, one week apart, planned for 14 and 21 October 2026.
Measure: the share of content words two answers have in common, with the floor test's word rules. For each question: the overlap across routes minus the overlap within one route. Below zero means answers from different routes share fewer words than repeat answers on one route. It says nothing about which route is more accurate.
Reading, per sitting, over all 12 questions, 95% interval: wholly inside minus 0.05 to plus 0.05, equivalent within 0.05; wholly below zero, differs; wholly above zero, differs in the other direction; anything else, inconclusive.
Written after a first look at older answers that changed the model and the day at the same time (overlap across routes minus within, minus 0.21). That first look is not a result.
P1. The overlap across routes is lower than within a route: the interval lies wholly below zero in both sittings. Refuted if it lies at or above zero, or reads equivalent, in either sitting.
P2. The gap is smaller than in the first look: the interval lies wholly above minus 0.21 in both sittings. Refuted if it lies wholly at or below minus 0.21 in either.
P3. On the API, web search on or off changes the answer more than asking again: same rule as P1, for the two API routes.
P4. The gap is larger for the six questions about Makefield than for the six well-known ones. Exploratory, no decision rule.
A prediction is published as held, refuted or inconclusive, whichever it is. A sitting where the chat window shows a different model than the one pinned beforehand is not run.

SHA-256-Hashwert der Präregistrierung oben (UTF-8, ein abschließender Zeilenumbruch) b3e186cbedcf3a33d4aacd910e7b7750d77bd41ef4e5a3567adbfe54340e9ff8

Korrekturen, datiert.

• 12. Oktober 2026, vor der ersten Antwort. Das Browser-Werkzeug, das die Chat-Antworten speichert, wurde auf die an diesem Tag installierte Version festgelegt.
• 13. Oktober 2026, vor der ersten Antwort. Diese Festlegung wird ersetzt: Beide Sitzungen verwenden eine spätere Version des Werkzeugs, deren Änderungen nichts daran ändern, wie die Chat-Antworten von Claude gespeichert werden. Vor der ersten Frage jeder Sitzung werden die SHA-256-Hashwerte des Werkzeugs und des Programms, das die API fragt, ins Sitzungsprotokoll geschrieben; eine Sitzung mit einer anderen Version wird nicht durchgeführt. An der Präregistrierung oben ändert sich nichts.

04 Was sie nicht zeigen kann

• Ein Assistent, ein Konto, eine Stadt, zwölf Fragen auf Englisch. Nichts davon lässt sich auf andere Assistenten oder Orte übertragen.
• Gemeinsame Wörter sind keine gemeinsamen Fakten. Zwei Antworten können mit verschiedenen Wörtern dasselbe sagen oder mit denselben Wörtern einander widersprechen.
• Jede API-Antwort folgt auf ihre Chat-Antwort, um bis zu etwa 12 Minuten, sodass zeitliche Reihenfolge und Zugang nicht ganz getrennt sind.
• Das Chatfenster entscheidet selbst, wann es sucht; über die API wird es vorgegeben. Dieser Unterschied gehört zum Zugang und ist kein Fehler, der zu beseitigen wäre.
• Die Chat-Seite wird, wie in den früheren Studien, von einem Browser-Tool gespeichert; die Nutzungsbedingungen der meisten Anbieter untersagen den automatisierten Zugriff auf ihre Verbraucher-Apps, wie die Methodenseite (englisch) darlegt.

05 Wie es weitergeht

Zwei Sitzungen, am 14. und 21. Oktober 2026. Das Ergebnis erscheint auf dieser Seite, jede Vorhersage als bewährt, widerlegt oder nicht eindeutig markiert, zusammen mit den zwölf Fragen und den Daten.

Alle Studien →   Die Methode →