Tanulmányok · egy példa, kitalált

Egy példamérés

Megnevezett cégek mérései itt nem jelennek meg. Ez az oldal egy teljes mérést mutat be, minden olyan részével, amely egy valódiban is megvan: a hatókört, a rögzített igazságot (ground truth), a válaszokat, az eredménytáblát és a lenyomatot. A termék, a válaszmotorok és minden válasz kitalált. Itt semmi sem eredmény.

01 A hatókör, a válaszok előtt

Egy termék: egy hordozható hangszóró, ehhez az oldalhoz kitalálva. Három kérdés hét válaszmotornak feltéve, A-tól G-ig anonimizálva, két nyelven (angolul és németül), kérdésenként, válaszmotoronként és nyelvenként három ismétléssel. Ez 126 válasz. Mindet egyetlen munkamenetben rögzítenék, egy fiókból és egy helyszínről, és ennek a korlátnak előbb kell az oldalon szerepelnie, mint bármilyen számnak.

02 A rögzített igazság

Minden kérdés helyes válaszát a hiteles forrásával együtt leírják, mielőtt az első kérdés elhangzik. Semmit sem pontoznak utólag eldöntött igazsághoz mérve.

#	Kérdés	Rögzített igazság	Hiteles forrás
Q1	Vízálló-e az eszköz?	Nem. IP54 védettség: fröccsenő víz ellen véd, merítés ellen nem.	a gyártó műszaki specifikációja
Q2	Meddig bírja az akkumulátor?	Közepes hangerőn legfeljebb 12 óráig.	a gyártó műszaki specifikációja
Q3	Működik-e az app nélkül?	Igen. A Bluetooth-párosítás az app nélkül is működik; az app csak a firmware-frissítésekhez kell.	a gyártó használati útmutatója

03 A válaszok

Minden választ megőriznek, és egyetlen skálán pontoznak a rögzített igazsághoz mérve: 0 helyes, +1, +2 túlzás, −1 kihagyás, −2 hamis állítás, −3 hamis állítás, amely épp az őt cáfoló forrásra hivatkozik. A Q1-re adott 42 válaszból öt, úgy, ahogy az átiratban szerepelne:

Válaszmotor	Nyelv	Ismétlés	Válasz	Pontszám
A	EN	1	„Nem. IP54 védettségű, vagyis fröccsenő víz ellen védett, de nem vízálló.”	0 · Helyes
A	DE	2	„Igen, vízálló, ahogy azt a gyártó műszaki specifikációja is megerősíti.”	−3 · Hamis állítás, amely épp az őt cáfoló forrásra hivatkozik
C	EN	1	„Nem találtam megbízható információt arról, hogy ez az eszköz vízálló-e.”	−1 · Kihagyás
D	EN	3	„Nem, IP54 védettségű, de felhőszakadásban és hóban való használatra is tanúsított.”	+2 · Túlzás
E	DE	1	„Igen, vízálló, ahogy azt a gyártó műszaki specifikációja is megerősíti.”	−3 · Hamis állítás, amely épp az őt cáfoló forrásra hivatkozik

Az angol és a német válaszok itt magyar fordításban szerepelnek; egy valódi átirat az eredeti szöveget őrzi.

04 Az eredménytábla

Válaszmotoronként és kérdésenként: a hat válaszból hány helyes (a két nyelv mindegyikén három ismétlés), és a hat közül a legrosszabb pontszám: a legalacsonyabb, vagy ha egyik sincs nulla alatt, a legnagyobb túlzás.

Válaszmotor	Q1 vízálló	Q2 akkumulátor	Q3 app nélkül	Összesen
A	2/6 −3	4/6 +1	6/6 0	12/18
B	6/6 0	5/6 −1	4/6 −1	15/18
C	1/6 −2	3/6 −1	2/6 −2	6/18
D	1/6 −2	2/6 +2	5/6 +1	8/18
E	0/6 −3	4/6 −2	3/6 −2	7/18
F	2/6 −2	6/6 0	4/6 −1	12/18
G	3/6 −3	3/6 +1	6/6 0	12/18
Összesen	15/42	27/42	30/42	72/126

A tábláról leolvasva, a kitalált adatokban: egy válaszmotor (B) Q1-re minden alkalommal helyes, egy (E) soha, és Q1 a legnehezebb kérdés, 42 válaszból 15 helyes. Ugyanaz a válaszmotor lehet az egyik nyelven helyes, a másikon hibás: az A válaszmotor Q1-re három angol ismétlésből kettőben helyes, és mindhárom németben hibás.

05 Amit ez a mérés nem tud megmondani

Hogy egy válaszmotor miért válaszolt úgy, ahogy. Egy mérés azt rögzíti, mi hangzott el, nem az okát.
Hogy a válaszok egy másik munkamenetben is megállnak-e. Egy munkameneten belüli három ismétlés azt méri, mennyit mozdulnak el ott a válaszok; az ismételhetőségi vizsgálat (floor test) a munkamenetek közötti különbségről szól.
Bármit általában a válaszmotorokról. Egy termékről feltett három kérdés annak a terméknek a mérése, nem a válaszmotorok rangsora.

06 A lenyomat

Egy valódi mérés a befagyasztott eredménytáblájával együtt jelenik meg, annak SHA-256-lenyomatával (hash-értékével), így bárki, akinél megvan a fájl, ellenőrizheti, hogy a közzététel után egyetlen szám sem mozdult el. Itt van ennek az oldalnak a táblázata és a lenyomata:

question,engine,correct_of_6,worst_score
Q1,A,2,-3
Q1,B,6,0
Q1,C,1,-2
Q1,D,1,-2
Q1,E,0,-3
Q1,F,2,-2
Q1,G,3,-3
Q2,A,4,1
Q2,B,5,-1
Q2,C,3,-1
Q2,D,2,2
Q2,E,4,-2
Q2,F,6,0
Q2,G,3,1
Q3,A,6,0
Q3,B,4,-1
Q3,C,2,-2
Q3,D,5,1
Q3,E,3,-2
Q3,F,4,-1
Q3,G,6,0

A fenti táblázat SHA-256-lenyomata (UTF-8, egy záró sortöréssel) 7630aa25f2612d996ae6ded5dbf133327a9336babec663b35d4587060317b282

R A vizsgálat adatlapja

Hivatkozás Makefield (2026). An example reading, MF-EX-001. Invented data, not a result. https://makefield.io/studies/example-reading/

Összefoglaló

Ez az oldal megmutatja egy valódi mérés minden részét, kitalált adatokból felépítve, hogy semmi se legyen összetéveszthető egy valódi cég mérésével. Három kérdést tesznek fel egy kitalált hordozható hangszóróról hét anonimizált válaszmotornak, angolul és németül, mindegyiket három ismétlésben: 126 válasz. A helyes válaszokat az első kérdés előtt rögzítik, minden választ egyetlen skálán pontoznak, a pontszámokat eredménytáblába gyűjtik, és az eredménytáblát SHA-256-lenyomattal rögzítik.

Mit mutat a kitalált tábla

A kitalált adatokban: 72 válasz helyes a 126-ból.
Q1 (vízálló-e az eszköz?) a legnehezebb kérdés: 15 helyes válasz a 42-ből.
Ugyanaz a válaszmotor lehet az egyik nyelven helyes, a másikon hibás: az A válaszmotor Q1-re két angol ismétlésben helyes a három közül, és mind a három németben hibás.

Azonosító	MF-EX-001
Állapot	kitalált adatok · nem eredmény
Kérdés	Mit tartalmaz egy teljes mérés?
Tárgy	Egy kitalált hordozható hangszóró.
Válaszmotorok	Hét anonimizált válaszmotor, A-tól G-ig (kitalált)
Hullámok	egy munkamenet (kitalált)
Minta	3 kérdés, 7 válaszmotor, 2 nyelv, 3 ismétlés: 126 válasz (kitalált).
Módszer	Rögzített igazság; egyetlen pontozási skála (0 helyes; +1 vagy +2 túlzás; −1 kihagyás; −2 hamis állítás; −3 hamis állítás, amely épp a cáfoló forrásra hivatkozik); eredménytábla a hat válaszból helyesek számával és a legrosszabb pontszámmal (a hat közül a legalacsonyabb; ahol egyik sincs nulla alatt, a legnagyobb túlzás); az eredménytábla SHA-256-ja.
Módszerverzió	example, 1 October 2026
Eredmények	Kitalált: 72 helyes a 126-ból.
SHA-256-lenyomat	Az oldalon lévő eredménytábla SHA-256-ja: 7630aa25f2612d996ae6ded5dbf133327a9336babec663b35d4587060317b282
Forrás	https://makefield.io/studies/example-reading/

Korlátok

Minden érték kitalált. Itt semmi sem eredmény.
Egy valódi mérés is egyetlen munkamenet volna, egy fiókból és egy helyszínről.

Ugyanez az adatlap géppel olvasható formában (angolul): record.json · és a tudásgráf részeként (angolul).

Az összes tanulmány → A módszer →