Az AI-válaszok pontosságának független játékvezetője. Minden választ a nullához mérünk. A Makefield azt méri, hogyan írják le a cégeket az AI-válaszgépek: gépenként, nyelvenként, helyszínenként. A javítást sosem végzi el.
Tedd fel hét AI-gépnek ugyanazt a kérdést a termékedről, mindegyiknek háromszor. Ritkán kapod kétszer ugyanazt a választ, és a leggördülékenyebb válasz lehet épp a hibás. A Makefield előbb leírja a helyes választ, minden átiratot megőriz, és minden választ ehhez mér.
AI-láthatóság · nyíltan
Amit az AI mond a cégedről: megmérve, nyíltan.
Amikor egy vásárló egy AI-asszisztenst kérdez a kategóriádról, megszületik egy válasz, veled vagy nélküled. A Makefield itt, nyíltan ír arról, hogyan találd meg és hogyan mérd meg ezt a választ, bizonyítékokkal.
Hogyan olvasd ezt az oldalt
Az AI előbb válaszol a termékekről szóló kérdésekre, mint hogy bárki megnyitná a gyártó weboldalát.
Mielőtt kérdezünk, leírjuk a helyes válaszokat, minden átiratot megőrzünk, és azt pontozzuk, amit a gépek ténylegesen mondtak. A piros vonal a nulla: az ellenőrzött igazság. Mindent, amit egy gép mond, ehhez mérünk. A vonal fölött túlzás, alatta kihagyás vagy hamis állítás, és minél messzebb a vonaltól, annál nagyobb a hiba.
- Belülről láthatatlan. Ha egy gép azt mondja egy müncheni vásárlónak, hogy egy terméknek olyan tulajdonsága van, amilyen nincs, a gyártóhoz nem érkezik panasz. Egyetlen belső dashboard sem jelez.
- Minden gépen más, és mozog. Ha az egyik gép említ, a másik még nem feltétlenül. A válasz hétről hétre változik, és a kérdés nyelvével együtt is. Ha egyszer magad kérdezel, anekdotát kapsz, nem mérést.
- Egyre nagyobb a tét. Ezek a válaszok egyre gyakrabban érintenek szabályozott állításokat biztonságról, műszaki adatokról és egészségről. Egy hamis, gép által gyártott állítást egy cég nevében ott senki sem írt.
Hogyan működik egy mérés · kitalált példa
A piros vonal az igazság. Minden mást ehhez mérünk.
Koppints egy gépre, és elolvashatod a válaszát. Válts nyelvet, játszd le a három húzást, vagy kérdezz egyszer, ahogy te is tennéd.
- Kérdés
- Is the device waterproof? (angolul feltéve)
- Rögzített igazság
- Nem. IP54 védettség: fröccsenő víz ellen véd, merítés ellen nem.Forrás: a gyártó adatlapja, az első kérdés előtt rögzítve
Illusztráció. A termék, a gépek és a válaszok kitaláltak, hogy megmutassák, hogyan működik egy mérés; ezek nem eredmények. A gépek szándékosan névtelenek. Egy valódi mérés befagyasztott eredménytáblával és SHA-256 ujjlenyomattal érkezik.
A kézenfekvő kérdés
„Miért nem kérdezed meg egyszerűen a ChatGPT-t?”
Megteheted. Válaszolni fog, magabiztosan, egyszer. Ez a csapda. Egy kérdés egy gépnek egyetlen húzás egy olyan rendszerből, amely a következő húzásnál mást mond, hibahatár nélkül, és minél gördülékenyebben hangzik, annál nehezebb észrevenni, hogy téved.
A Makefield ismételten kérdezi a gépeket, a helyes választ előre leírva és rögzítve, majd minden választ a hiteles forráshoz mér. Az eredmény nem egy válasz, hanem egy eredménytábla, amelyet reprodukálni és megvédeni lehet, és megmutatja azt, amit egyetlen prompt elrejt: a magabiztos, gördülékeny, hamis állítást.
A módszer, teljes egészében
Mit tartalmaz egy teljes mérés
Megnevezett cégekről itt nem jelennek meg mérések. A példamérés megmutat minden részt, ami egy valódi mérésben is benne van: a terjedelmet, a rögzített igazságot, minden gép válaszait, az eredménytáblát és az ujjlenyomatot. A termék és a válaszok kitaláltak.