Kutatás · nyíltan
Tanulmányok
AI-válaszok tervezett vizsgálatai. Minden vizsgálat az eredménye előtt közli a hatókörét, a mintáját és a korlátait.
Egy terepjegyzet egyetlen megfigyelés. Egy vizsgálat tervezett teszt: a kérdései rögzítve vannak, mielőtt a válaszmotorokat megkérdeznék, minden választ megőriz, és kimondja, mit tud alátámasztani az eredmény és mit nem. Ahol az elemzést nem tervezték meg előre, a vizsgálat ezt is kimondja.
0·001 feltáró vizsgálat, 1 előregisztrált vizsgálat, 1 példa
MF-2026-001 · az eredményeket 2026. augusztus 29-én olvasták ki (scope 08284347) · feltáró · Denes Csaszar · megjelent a denescsaszar.com oldalon
A válaszmotorok ritkán fogalmaznak meg egy választ kétszer ugyanúgy. Ez a vizsgálat nyolc válaszmotornak tett fel tizennyolc kérdést egyetlen cégről, hét adatfelvételi hullámban, 2026. július 4. és augusztus 25. között, és összevetette, mennyire hasonlítottak egymásra a válaszok egy hullámon belül, illetve a hullámok között. 103 kérdés × válaszmotor cellából 85-ben a válaszok kevésbé hasonlítottak egymásra a hullámok között, mint egy hullámon belül.
A vizsgálat feltáró jellegű, és a hasonlósági mérőszáma a szóhasználatot veti össze, nem a tényeket. Az eredmény a válaszmotor és a kérdés hatásától megtisztított, az időszakétól nem: ebben az archívumban minden hullám egyben egy munkamenet is, így nem tudja megmondani, hogy a különbség az idő múlásával bekövetkező változás-e.
Miért számít ez itt: mielőtt ezen az oldalon bármi megváltozottnak nevezne egy választ, a választ ahhoz kell mérni, mennyit mozdul el magától. Ez a vizsgálat ezt az ismételhetőségi küszöböt mérte meg.
A vizsgálat (angolul) → Az adatlap → Az 001-es terepjegyzet, a mögötte álló megfigyelés →
Hivatkozás Csaszar, D. (2026). The floor test, scope 08284347. Makefield study MF-2026-001. https://denescsaszar.com/drift-2026-08
Amit az ismételhetőségi vizsgálat nem lát
illusztráció · kitalált válaszok · nem eredmény
Az ismételhetőségi vizsgálat a szóhasználatot veti össze. A szóhasználat és a tények eltávolodhatnak egymástól: egy válasz megváltoztathatja a szavai többségét úgy, hogy minden tény megmarad, vagy megtarthatja szinte minden szavát úgy, hogy egy tény megfordul. Lent egy kérdés, hét válaszmotornak feltéve két hullámban, egyszer a szóhasználatra, egyszer a tényekre olvasva. Itt minden válasz kitalált, hogy a különbség látszódjon; egy későbbi vizsgálat valódi válaszokon mérheti meg.
A kérdés Vízálló-e az eszköz? Rögzített igazság: nem. IP54 védettség, fröccsenésálló, víz alá nem meríthető.
A megváltozott szavak pirossal alá vannak húzva. A C válaszmotor megtartja a szavai többségét, és mindkét tényt megfordítja; az A válaszmotor a szavai többségét megváltoztatja, és mindkét tényt megtartja. A szóhasználat itt azoknak a szavaknak az aránya, amelyeken két válasz nem osztozik: annak a hasonlóságnak a komplementere, amelyet az ismételhetőségi vizsgálat használ.
MF-2026-002 · előregisztrálva 2026. október 1-jén · a megjelenés utáni első hullám október 4-re tervezve · még nincs eredmény
Ugyanaz a mérőeszköz, magára a Makefieldre irányítva. Kilenc hullámot rögzítettek, amíg ez a weboldal nem volt nyilvános; az október 1. utáni hullámok megmutatják, mi változik, amint az lesz. Négy előrejelzést írtak meg és rögzítettek lenyomattal e hullámok közül az első előtt, és mindegyikről közzéteszik, hogy kiállta a próbát vagy megcáfolódott.
Az előregisztráció → Az adatlap →
Hivatkozás Csaszar, D. (2026). Does AI know Makefield? Registration, 1 October 2026. Makefield study MF-2026-002. https://makefield.io/studies/does-ai-know-makefield/
MF-2026-003-P · előregisztrált pilotvizsgálat, 2026. október 12. · adatfelvételi alkalmak október 14-ére és 21-ére tervezve · még nincs eredmény
Ugyanaz a tizenkét kérdés Claude-nak, a chatablakában és az API-ján keresztül, ugyanazzal a modellel, ugyanazon az estén. Jobban eltérnek-e a válaszok, mint amikor ugyanazt a kérdést egyszerűen újra felteszik? Az előrejelzéseket az első válasz előtt lenyomattal rögzítették.
Az előregisztráció → Az adatlap →
Hivatkozás Csaszar, D. (2026). Same question, two ways in. Pilot registration, 12 October 2026. Makefield study MF-2026-003-P. https://makefield.io/studies/same-question-two-ways/
kitalált adatok · nem eredmény
Egy teljes mérés kitalált adatokkal: három kérdés egy kitalált termékről, hét anonimizált válaszmotor, két nyelv, három ismétlés, a rögzített igazság, az eredménytábla és SHA-256-lenyomata. Megmutatja, mit tartalmaz egy valódi mérés, anélkül hogy egyet közzétenne.
A példamérés → Az adatlap →
A következő vizsgálathoz két kutatási partnerre van szükség: olyan cégekre, amelyek hozzájárulnak, hogy a saját közzétett tényeiket teszteljék, díjmentesen, és elsőként látják az eredményeket. Így működik →
További vizsgálatok készülnek. Mindegyik akkor jelenik meg itt, amikor az adatai és a korlátai közzétételre készek, és egy vizsgálat, amely semmit sem talál, szintén felkerül ide.