Field note

Warum ich nie »durchsuche das Web« in einen KI-Sichtbarkeitstest tippe

Der Instinkt, »durchsuche das Web« zum Prompt hinzuzufügen, ist genau das, was den Test zerstört.

Denes Csaszar · Makefield · Berlin · not yet published

Wenn du einen KI-Assistenten nach deiner Marke fragst, antwortet er manchmal aus dem Gedächtnis — veraltet, generisch, offenkundig ohne nachzuschlagen. Der offensichtliche Fix ist, „durchsuche das Web" zur Frage hinzuzufügen und erneut zu fragen. Das ist ein vernünftiger Instinkt. Er ruiniert auch still den Test.

Zwei Dinge brechen auf einmal.

Erstens hast du die Frage geändert. Wenn du mehrere Engines vergleichst — und das solltest du, weil sie nicht übereinstimmen —, muss der Wortlaut über alle identisch sein, sonst vergleichst du nicht mehr dasselbe. „Was sagt KI über uns?" und „Was sagt KI über uns? Durchsuche das Web." sind zwei verschiedene Fragen.

Zweitens verhalten sich die Engines nicht gleich. Manche suchen von selbst; manche antworten lieber aus dem Gedächtnis für alles, was sie zu wissen glauben. Fügst du die Anweisung also nur denen hinzu, die sie brauchen, bekommt jede Engine am Ende einen leicht anderen Prompt — und jeder Unterschied in den Antworten könnte der Wortlaut sein, den du hinzugefügt hast, nicht die Engine selbst.

Der Fix ist, es als zwei getrennte Regler zu behandeln, außerhalb der Frage gesetzt:

• Personalisierung und Gedächtnis: aus. Damit die Engine nicht aus deiner eigenen Historie antwortet (das ist ihre eigene Falle).
• Websuche: an, über den eigenen Schalter oder Modus der Engine — niemals durch Eintippen in den Prompt. Die Frage bleibt überall wortgleich; „Suche war an" wird zu einer Bedingung, die du notierst, kein Text, den du hinzufügst.

Es gibt einen tieferen Grund, warum das zählt. Ob eine Engine sich zu suchen entscheidet, ist Teil ihres Verhaltens — Teil dessen, was du tatsächlich misst. Ein echter Kunde zwingt sie auch nicht zu suchen; er bekommt, was sie zu tun entscheidet. Der ehrliche Zug ist also, zu notieren, was jede Engine tat — gesucht oder aus dem Gedächtnis geantwortet — und die Frage in Ruhe zu lassen.

Ein Vorbehalt: Ein paar Engines suchen nur, wenn im Text gefragt, und geben dir keinen Schalter. Kämpfe nicht dagegen — schreib das als Eigenheit dieser Engine auf, eine Konstante, die du notierst, statt es mit Extra-Wörtern zu flicken, die den Vergleich überall sonst ruinieren.

Die Frage fix zu halten, macht ein Audit reproduzierbar — siehe auch stell dieselbe Frage zweimal, bekomm zwei Antworten.