makefield

Ein unabhängiger Schiedsrichter für die Genauigkeit von KI-Antworten. Jede Antwort gegen null gemessen. Makefield misst, wie KI-Antwortmaschinen Unternehmen beschreiben: je Maschine, je Sprache, je Ort. Den Fix übernimmt Makefield nie.

Stell sieben KI-Maschinen dieselbe Frage zu deinem Produkt, jeweils dreimal. Du bekommst selten zweimal dieselbe Antwort, und die flüssigste Antwort kann die falsche sein. Makefield schreibt die richtige Antwort zuerst auf, hebt jedes Transkript auf und misst jede Antwort daran.

festgelegte Wahrheit · jedes Transkript aufgehoben · so funktioniert eine Messung ↓

KI-Sichtbarkeit · offen

Was KI über dein Unternehmen sagt: gemessen, offen.

Wenn ein Kunde einen KI-Assistenten nach deiner Kategorie fragt, entsteht eine Antwort, mit oder ohne dich darin. Makefield schreibt hier, offen, darüber, wie man diese Antwort findet und misst, mit Belegen.

So liest man diese Seite

KI beantwortet Fragen zu Produkten, bevor jemand die Website des Herstellers öffnet.

Wir schreiben die richtigen Antworten auf, bevor wir fragen, heben jedes Transkript auf und bewerten, was die Maschinen tatsächlich gesagt haben. Die rote Linie ist null: die geprüfte Wahrheit. Alles, was eine Maschine sagt, wird daran gemessen. Über der Linie liegt eine Übertreibung, darunter eine Auslassung oder eine falsche Behauptung, und je weiter von der Linie, desto größer der Fehler.

  1. Von innen unsichtbar. Wenn eine Maschine einem Kunden in München sagt, ein Produkt habe eine Eigenschaft, die es nicht hat, erreicht den Hersteller keine Beschwerde. Kein internes Dashboard schlägt an.
  2. Auf jeder Maschine anders, und es bewegt sich. Eine Erwähnung auf einer Maschine ist keine Erwähnung auf einer anderen. Die Antwort verschiebt sich von Woche zu Woche und ändert sich mit der Sprache der Frage. Einmal selbst fragen ergibt eine Anekdote, keine Messung.
  3. Es steht mehr auf dem Spiel. Diese Antworten berühren immer öfter regulierte Aussagen über Sicherheit, technische Angaben und Gesundheit. Eine falsche, maschinell erzeugte Aussage im Namen eines Unternehmens hat dort niemand geschrieben.

So funktioniert eine Messung · ein erfundenes Beispiel

Die rote Linie ist die Wahrheit. Alles andere wird daran gemessen.

Tippe auf eine Maschine, um ihre Antwort zu lesen. Wechsle die Sprache, spiele die drei Durchgänge ab oder frag einmal, so wie du es selbst tun würdest.

Frage
Ist das Gerät wasserdicht? (auf Englisch gestellt)
Festgelegte Wahrheit
Nein. Schutzart IP54: geschützt gegen Spritzwasser, nicht gegen Untertauchen.Quelle: Datenblatt des Herstellers, festgelegt vor der ersten Frage
Sprache
Durchgang
Ansicht

Illustrativ. Produkt, Maschinen und Antworten sind erfunden, um zu zeigen, wie eine Messung funktioniert; es sind keine Ergebnisse. Die Maschinen sind absichtlich anonymisiert. Eine echte Messung kommt mit eingefrorener Ergebnistabelle und SHA-256-Fingerabdruck.

Die naheliegende Frage

„Warum nicht einfach selbst ChatGPT fragen?“

Kannst du. Es antwortet, selbstsicher, einmal. Genau das ist die Falle. Eine Frage an eine Maschine ist ein einzelner Zug aus einem System, das beim nächsten Zug anders antwortet, ohne Fehlerspanne, und je flüssiger es klingt, desto schwerer merkt man, dass es falsch ist.

Makefield fragt die Maschinen wiederholt, mit der richtigen Antwort vorher aufgeschrieben und festgelegt, und misst dann jede Antwort an der maßgeblichen Quelle. Das Ergebnis ist keine Antwort. Es ist eine Anzeigetafel, die du nachvollziehen und verteidigen kannst, und sie zeigt, was ein einzelner Prompt verbirgt: die selbstsichere, flüssige, falsche Behauptung.

Die Methode, vollständig

Was eine vollständige Messung enthält

Messungen zu benannten Unternehmen werden hier nicht veröffentlicht. Die Beispielmessung zeigt jeden Teil, den eine echte hat: den Umfang, die festgelegte Wahrheit, die Antworten jeder Maschine, die Anzeigetafel und den Fingerabdruck. Produkt und Antworten sind erfunden.

Zur Beispielmessung (auf Englisch) →