Ismételhetőségi vizsgálat (floor test)

R A vizsgálat adatlapja

Hivatkozás Csaszar, D. (2026). The floor test, scope 08284347. Makefield study MF-2026-001. https://denescsaszar.com/drift-2026-08

Összefoglaló

A válaszmotorok ritkán fogalmaznak meg egy választ kétszer ugyanúgy. Ez a vizsgálat nyolc válaszmotornak tett fel tizennyolc kérdést egyetlen cégről, a Makefieldről, hét adatfelvételi hullámban, július 4. és augusztus 25. között, 2026-ban. Minden hullámon belül az egy válaszmotortól egy kérdésre kapott ismételt válaszok jelölik ki az adott cella saját ismételhetőségi küszöbét (noise floor): azt, hogy mennyi szóhasználaton osztoznak az ismétlések. Egy cella csak akkor számít elmozdultnak, ha két hullám válaszai kevesebb szóhasználaton osztoznak, mint amennyit ez a küszöb kijelöl. A kérdés × válaszmotor cellák közül, amelyeknek van küszöbe, 103-ból 85 mozdult el. A vizsgálat feltáró jellegű: az elemzést az adatok megléte után határozták meg, a mérőszám a szóhasználatot veti össze, nem a tényeket, és minden hullám egyben egyetlen munkamenet is, így az eredmény nem tudja elválasztani az idő múlásával bekövetkező változást a munkamenetek közötti különbségtől.

Fő eredmények

• 85 cella a 103 közül, amelyeknek van ismételhetőségi küszöbe (82,5 százalék), kevésbé hasonlított a hullámok között, mint egy hullámon belül. Permutációs null-eloszlás mellett a véletlen alapján 40,9 százalék volna várható (a közzétett összefoglaló szerint).
• Az egy hullámon belüli ismételt válaszok már eleve kevés szóhasználaton osztoznak: a hullámon belüli hasonlóság mediánja 0,266, a hullámok közöttié 0,183 (Jaccard-hasonlóság a tartalmas szavak halmazain).
• Ugyanazon a cellán belül a hullámok közötti leghosszabb időköz 87 cellában a 108 közül kevésbé hasonló válaszokat adott, mint a legrövidebb; a különbség mediánja mínusz 0,047.

Korlátok

• Feltáró jellegű: az elemzést az adatok megléte után határozták meg.
• A hasonlóság a szóhasználatot veti össze, nem a tényeket: a hasonlóság alsó határát adja, nem a jelentés értelmezését.
• Minden hullám egyben egy munkamenet is, ezért az eredmény a válaszmotor és a kérdés hatásától megtisztított, az időszakétól nem.
• Egyetlen vizsgált cég, amely azért lett a tárgy, mert kevés jelent meg róla; semmi sem vihető át olyan cégre, amelyet a válaszmotorok már ismernek.
• Itt semmi sem mutatja meg, miért változott bármi. Kontrollált beavatkozás nem volt.
• A kérdéseket nem hozták nyilvánosságra.
• A nyolc válaszmotort hét cég üzemelteti, és az adatfelvétel olyan módon történt, amelyet hat cég e hét közül a felhasználási feltételeiben tilt. A vizsgálat oldala minden szolgáltatónál megnevezi a dokumentumot és a pontot.
• 38 ismételhetőségi küszöb a 103-ból egyetlen ismételt válaszpáron alapul, ezért ezek a küszöbök csak durva becslések.
• A nyers válaszok többsége ma nincs meg az archívumban (lásd: Javítások). Minden szám újraszámolható a három közzétett adatfájlból; a nyers válaszoktól ezekig a fájlokig vezető lépés nem ismételhető meg teljes egészében.

Javítások

• Október 19-én, 2026-ban: a vizsgálat mögötti nyers válaszok többsége nincs meg az archívumban. Az adatfelvételi manifesztek 149 nyersválasz-fájlt sorolnak fel a hét hullámhoz; október 19-én, 2026-ban ebből 27 volt meg és 122 nem: a négy júliusi hullám teljes (22 fájlból 22), a három augusztusi nem (5 fájl a 127-ből). A számítógép, amelyen a fájlok voltak, 2026 szeptemberében meghibásodott; a júliusi fájlok egy korábbi másolatban megmaradtak. A három közzétett adatfájl továbbra is egyezik az SHA-256-lenyomatával, és minden szám újraszámolható belőlük, de a nyers válaszoktól ezekig a fájlokig vezető lépés nem ismételhető meg teljes egészében. A vizsgálatban, a számaiban és az adatfájljaiban semmi nem változott.

Ismételd meg vagy bíráld

• A három adatfájl CC BY 4.0 licenc alatt jelent meg, SHA-256-lenyomatával együtt, és az összefoglaló fájl tartalmazza a seedeket és a replikációk számát, így minden szám újraszámolható a cellákból.
• A kérdéseket nem hozták nyilvánosságra. Ugyanazokkal a kérdésekkel a teljes újrafuttatás ezért a közzétett fájlokból nem lehetséges; a módszer újrafuttatása saját kérdésekkel igen, és a közzétett cellák újraelemzése is.
• A módszer, a mérőszám vagy az értelmezés bírálatát szívesen fogadjuk: írj a hello@makefield.io címre.

Ugyanez az adatlap géppel olvasható formában (angolul): record.json · és a tudásgráf részeként (angolul).