Field note

Miért nem gépelem soha a »keress a weben«-t egy AI-láthatósági tesztbe

Az ösztön, hogy a »keress a weben«-t hozzáadd a prompthoz, éppen az, ami elrontja a tesztet.

Denes Csaszar · Makefield · Berlin · not yet published

Amikor egy AI-asszisztenst kérdezel a márkádról, néha memóriából válaszol — elavultan, generikusan, láthatóan nem nézve utána semminek. A kézenfekvő javítás, hogy a „keress a weben"-t hozzáadod a kérdéshez, és újra kérdezel. Ésszerű ösztön. Csendben tönkre is teszi a tesztet.

Két dolog törik el egyszerre.

Először, megváltoztattad a kérdést. Ha több motort hasonlítasz össze — és kellene, mert nem értenek egyet —, a szövegnek azonosnak kell lennie mindegyiken, különben már nem ugyanazt hasonlítod. A „mit mond rólunk az AI?" és a „mit mond rólunk az AI? Keress a weben." két különböző kérdés.

Másodszor, a motorok nem viselkednek egyformán. Némelyik magától keres; némelyik memóriából válaszol bármire, amit már tudni vél. Ha tehát az utasítást csak azoknak adod hozzá, amelyeknek kell, minden motor kissé más promptot kap — és bármely különbség a válaszokban lehet a hozzáadott szöveg, nem maga a motor.

A javítás, hogy két különálló tárcsaként kezeld, a kérdésen kívül beállítva:

• Személyre szabás és memória: ki. Hogy a motor ne a saját előzményeidből válaszoljon (az a maga csapdája).
• Webkeresés: be, a motor saját kapcsolójával vagy módjával — sose a promptba gépelve. A kérdés mindenhol szóról szóra azonos marad; a „keresés be volt kapcsolva" egy feltétellé válik, amit feljegyzel, nem szöveggé, amit hozzáadsz.

Van egy mélyebb ok, amiért ez számít. Hogy egy motor keresést választ-e, része a viselkedésének — része annak, amit valójában mérsz. Egy valódi vásárló sem kényszeríti keresésre; azt kapja, amit a motor dönt. A becsületes lépés tehát, hogy feljegyzed, mit tett minden motor — keresett, vagy memóriából válaszolt — és békén hagyod a kérdést.

Egy fenntartás: néhány motor csak szövegben kérve keres, és nem ad kapcsolót. Ne küzdj ellene — írd fel annak a motornak a sajátosságaként, egy állandóként, amit feljegyzel, ahelyett, hogy extra szavakkal foltoznád, amelyek mindenhol máshol tönkreteszik az összehasonlítást.

A kérdés rögzítése teszi egy auditot reprodukálhatóvá — lásd még kérdezd meg kétszer ugyanazt, kapj két választ.