10. hét · megmérni

Az audit: mérni anélkül, hogy becsapnád magad

A hét dimenzió csak akkor hasznos, ha kétszer ugyanúgy meg tudod mérni. Ez választja el az auditot a megérzéstől.

Makefield · Berlin

Térképtől a mérésig

Hét dimenzió, megmérve — vagy csak vélemények

A hét dimenzió megmondja, mit nézz. Az audit ezek mérése — és szigor nélkül a „mérés" egy benyomássá omlik össze, amit ingyen is megkaphattál volna. Az audit egész értéke, hogy egy kiindulási alapot állít elő, ami mögött ki tudsz állni, és amelyhez később a változást méred. Ez csak akkor tart, ha úgy csinálod, hogy meg tudnád ismételni, és úgy, hogy nem hízeleg csendben.

Mi teszi megbízhatóvá

Négy dolog, minden alkalommal

• Reprodukálható. Ugyanazok a kérdések, ugyanazok a feltételek, újra lefuttatva — hogy a későbbi elmozdulás valós legyen, ne egy másik teszt. Egy szám, amit nem tudsz újrafuttatni, semmit sem mond.
• Tisztaszoba. Kijelentkezve, memória kikapcsolva, friss munkamenet — mert bejelentkezve az asszisztens a saját előzményeiddel hízeleg. Azt a választ akarod, amit egy idegen kap.
• Motoronként. Minden asszisztens külön auditálva, mert nem értenek egyet — és a különbségek befogások, nem zaj.
• Ember által ellenőrizve. Egy személy áll ki minden megítélésért — a tényeket a valósághoz mérve — ahelyett, hogy egy automatikus osztályzatban bíznánk. Egy audit, amit senki sem ellenőrzött, egy találgatás számmal rajta.

A csapdák, amelyeket ki kell kerülnie

Sodródás, a tükör és az egyetlen minta

Három dolog süllyeszt el egy hanyag auditot. Sodródás: a motorok ugyanazt a kérdést különböző napokon másképp válaszolják, egy olvasás tehát nem mérés. A tükör: bejelentkezve ellenőrizni egy hízelgő fantomot mutat. Az egyetlen minta: egy motor, egy lekérdezés, egy nap szinte semmit sem mond — a minta a motorok és a vásárlói kérdések valós sávja között a befogás. Egy jó audit arra épült, hogy mind a hármat kikerülje; egy gyors ellenőrzés rendszerint beléjük sétál.

Amivel végzel

Kiindulási alap, nem ítélet

Rendesen csinálva egy audit egy pontozott, dátumozott, reprodukálható képet ad arról, hol állsz a hét dimenzión és a nagy motorokon át — nem egyetlen nagy számot, hanem egy kiindulási alapot. Ez az alap az, amire a módszer többi része hat: nem korrigálhatsz olyat, amit nem lokalizáltál, és nem bizonyíthatod, hogy egy javítás működött, mérés nélkül, amihez hasonlítsd.

Egy durva verziót magad is lefuttathatsz — lásd: auditáld az AI-láthatóságodat egy délután alatt. Ezután: a befogásokból javításokat.