Tanulmányok · előregisztrált pilotvizsgálat, még nincs eredmény

Ugyanaz a kérdés, két csatornán

Sokan a chatablakában kérdeznek egy AI-asszisztenst. A fejlesztők, és néhány eszköz, amely arról számol be, mit mond az AI a cégekről, ugyanezt az asszisztenst az API-ján keresztül kérdezik. Ez a pilotvizsgálat mindkét csatornán ugyanazokat a kérdéseket teszi fel Claude-nak, ugyanazzal a modellel, ugyanazon az estén, és azt méri, hogy a válaszok jobban eltérnek-e egymástól, mint amikor ugyanazt a kérdést egyszerűen újra felteszik.

01 Miért ez a kérdés

Az AI-válaszokat követő eszközök különböző módon gyűjtik a válaszokat: némelyik a chatablakon keresztül, ahogy egy felhasználó látja, némelyik az API-n keresztül. Többen állítják, hogy a kettő eltérő válaszokat ad; szinte egyikük sem mérte meg, mennyire eltérőket, ahhoz képest, mennyit mozdulnak el a válaszok maguktól, amikor semmi sem változik. Ezt a második számot mérte meg az ismételhetőségi vizsgálat (floor test) (angolul), és itt ez a mérce.

02 Ami az előregisztráció előtt már megvolt

• Egy korábbi válaszokra vetett első pillantás, 2026. október 12-én, Claude október 2-i és 3-i chatválaszait állította az október 4-i API-válaszai mellé. A két csatorna között a válaszok sokkal kevesebb közös szót tartalmaztak, mint az egy csatornán ismételt válaszok. Ez a pillantás azonban egyszerre változtatta meg a modellt és a napot, ezért semmit sem mond magáról a csatornáról. Nem eredmény.
• Az alábbi előrejelzések ez után az első pillantás után készültek, és ezt ki is mondják.

03 Az előregisztráció

Ez az a szöveg, amelyről a lenyomat készült. Az első válasz után nem szerkesztik; minden későbbi javítás alá kerül, dátummal, mindkét változattal. Itt az angol eredetiben marad, mert a lenyomat pontosan ezekből a karakterekből készült: egy fordításnak más lenne.

Same question, two ways in. Pilot registration, 12 October 2026, before the first answer.

Question: asked the same question on the same evening, do Claude's answers through the developer API differ from its answers in the claude.ai chat window by more than repeat answers on one route differ from each other?
Routes: the claude.ai chat window (free account, signed in, Berlin, saved by Makefield's own browser tool, a fresh chat for every answer) and the Claude API with the same model and the same effort level the chat window shows, with web search on. The API without web search is a third route, used as a reference.
What "same model" does not cover: the chat window's own instructions, its own choice whether and how to search, and any setting it does not show. Those belong to the route and are part of what is measured.
Questions: 12, in English. Six drawn at random from the 22 questions of "Does AI know Makefield?" (MF-2026-002), six about well-known subjects. They are published with the result. Each question is asked 5 times on each route.
Pairing: each API answer is requested after its chat answer, at most about 12 minutes later.
Sittings: two, one week apart, planned for 14 and 21 October 2026.
Measure: the share of content words two answers have in common, with the floor test's word rules. For each question: the overlap across routes minus the overlap within one route. Below zero means answers from different routes share fewer words than repeat answers on one route. It says nothing about which route is more accurate.
Reading, per sitting, over all 12 questions, 95% interval: wholly inside minus 0.05 to plus 0.05, equivalent within 0.05; wholly below zero, differs; wholly above zero, differs in the other direction; anything else, inconclusive.
Written after a first look at older answers that changed the model and the day at the same time (overlap across routes minus within, minus 0.21). That first look is not a result.
P1. The overlap across routes is lower than within a route: the interval lies wholly below zero in both sittings. Refuted if it lies at or above zero, or reads equivalent, in either sitting.
P2. The gap is smaller than in the first look: the interval lies wholly above minus 0.21 in both sittings. Refuted if it lies wholly at or below minus 0.21 in either.
P3. On the API, web search on or off changes the answer more than asking again: same rule as P1, for the two API routes.
P4. The gap is larger for the six questions about Makefield than for the six well-known ones. Exploratory, no decision rule.
A prediction is published as held, refuted or inconclusive, whichever it is. A sitting where the chat window shows a different model than the one pinned beforehand is not run.

A fenti előregisztráció SHA-256-lenyomata (UTF-8, egy záró sortöréssel) b3e186cbedcf3a33d4aacd910e7b7750d77bd41ef4e5a3567adbfe54340e9ff8

Javítások, dátummal.

• 2026. október 12., az első válasz előtt. A böngészőeszközt, amely a chatválaszokat menti, az aznap telepített verzióra rögzítettük.
• 2026. október 13., az első válasz előtt. Ez a rögzítés lecserélődik: mindkét adatfelvételi alkalom az eszköz egy későbbi verzióját használja, amelynek változásai nem érintik, hogyan menti az eszköz Claude chatválaszait. Minden alkalom első kérdése előtt az eszköz és az API-t lekérdező program lenyomata bekerül az adatfelvételi naplóba; más verzióval adatfelvétel nem fut. A fenti előregisztrációban semmi nem változik.

04 Amit nem tud megmutatni

• Egy asszisztens, egy fiók, egy város, tizenkét kérdés angolul. Ebből semmi sem vihető át más asszisztensekre vagy helyekre.
• A közös szavak nem közös tények. Két válasz mondhatja ugyanazt más szavakkal, vagy ellentmondhat egymásnak ugyanazokkal a szavakkal.
• Minden API-válasz a hozzá tartozó chatválasz után érkezik, legfeljebb körülbelül 12 perccel később, így az időbeli sorrend és a csatorna nincs teljesen szétválasztva.
• A chatablak maga dönti el, mikor keres; az API-nak ezt megmondják. Ez a különbség a csatornához tartozik, nem kiküszöbölendő hiba.
• A chatoldali válaszokat, ahogy a korábbi vizsgálatokban is, egy böngészőeszköz menti; a legtöbb szolgáltató felhasználási feltételei tiltják az automatizált hozzáférést a fogyasztói alkalmazásaikhoz, ahogy a módszertani oldal (angolul) kifejti.

05 Mi következik

Két adatfelvételi alkalom, 2026. október 14-én és 21-én. Az eredmény ezen az oldalon jelenik meg, minden előrejelzésnél jelölve, hogy kiállta-e a próbát, megcáfolódott vagy nem eldönthető, a tizenkét kérdéssel és az adatokkal együtt.

Az összes tanulmány →   A módszer →