Woche 10 · es messen

Das Audit: messen, ohne sich selbst zu täuschen

Sieben Dimensionen nützen nur, wenn du sie zweimal gleich messen kannst. Das unterscheidet ein Audit von einem Bauchgefühl.

Makefield · Berlin

Von der Karte zur Messung

Sieben Dimensionen, gemessen — oder nur Meinungen

Die sieben Dimensionen sagen dir, was du betrachten sollst. Ein Audit ist, sie zu messen — und ohne Rigorosität fällt „messen" in einen Eindruck zusammen, den du umsonst hättest haben können. Der ganze Wert eines Audits ist, dass es eine Ausgangsbasis erzeugt, hinter der du stehen kannst und gegen die du später Veränderung misst. Das hält nur, wenn es so gemacht wird, dass du es wiederholen könntest, und so, dass es dir nicht still schmeichelt.

Was es vertrauenswürdig macht

Vier Dinge, jedes Mal

• Reproduzierbar. Dieselben Fragen, dieselben Bedingungen, erneut durchgeführt — damit spätere Bewegung echt ist, kein anderer Test. Eine Zahl, die du nicht erneut durchführen kannst, sagt dir nichts.
• Sauberer Raum. Abgemeldet, Verlauf aus, frische Sitzung — denn eingeloggt schmeichelt dir der Assistent mit deiner eigenen Historie. Du willst die Antwort, die ein Fremder bekommt.
• Pro Engine. Jeder Assistent getrennt auditiert, denn sie stimmen nicht überein — und die Unterschiede sind Befunde, kein Rauschen.
• Von Menschen geprüft. Eine Person steht hinter jeder Einschätzung — prüft Fakten gegen die Realität — statt einer automatischen Note zu vertrauen. Ein Audit, das niemand geprüft hat, ist eine Vermutung mit einer Zahl daran.

Die Fallen, die es umgehen muss

Drift, der Spiegel und die einzelne Stichprobe

Drei Dinge versenken ein nachlässiges Audit. Drift: Engines beantworten dieselbe Frage an verschiedenen Tagen unterschiedlich, eine Lesung ist also keine Messung. Der Spiegel: eingeloggt zu prüfen zeigt ein schmeichelndes Phantom. Die einzelne Stichprobe: eine Engine, eine Abfrage, ein Tag sagt fast nichts — das Muster über Engines und eine echte Bandbreite von Kundenfragen ist der Befund. Ein gutes Audit ist gebaut, alle drei zu umgehen; ein schneller Check läuft meist hinein.

Womit du endest

Eine Ausgangsbasis, kein Urteil

Richtig gemacht, reicht dir ein Audit ein bewertetes, datiertes, reproduzierbares Bild davon, wo du über die sieben Dimensionen und die großen Engines stehst — keine einzelne große Zahl, sondern eine Ausgangsbasis. Diese Basis ist das, worauf der Rest der Methode handelt: Du kannst nicht korrigieren, was du nicht verortet hast, und du kannst nicht belegen, dass ein Fix gewirkt hat, ohne eine Messung zum Vergleich.

Eine grobe Version kannst du selbst durchführen — siehe audite deine KI-Sichtbarkeit an einem Nachmittag. Als Nächstes: aus dem, was das Audit findet, Fixes machen.