Studien · präregistriert, noch kein Ergebnis

Kennt KI Makefield?

Makefield misst, was KI-Systeme über Unternehmen sagen. Diese Studie richtet dasselbe Instrument auf Makefield selbst, bevor und nachdem seine Website öffentlich wurde. Die Vorhersagen unten wurden am 1. Oktober 2026 geschrieben und mit Hashwert festgeschrieben, bevor die erste Welle nach dem Start erfasst war.

01 Warum Makefield sich selbst misst

Bei den meisten Unternehmen weiß niemand genau, wie die richtige Antwort lautet oder wann die KI-Systeme sie zum ersten Mal lesen konnten. Bei Makefield ist beides bekannt. Seine Website war von Juli bis September 2026 passwortgeschützt oder nicht gelistet und wurde am 1. Oktober 2026 öffentlich und indexierbar. Vor diesem Tag wurden denselben KI-Systemen in neun Wellen dieselben Fragen gestellt. Die Wellen danach werden zeigen, was sich ändert, wenn eine Quelle lesbar wird, gemessen an einem Referenzstandard (Ground Truth), den das Projekt selbst veröffentlicht: die Seite für KI-Systeme (englisch), Version 1.2.

02 Was es vor dieser Präregistrierung gibt

• Neun Wellen, 4. Juli bis 2. September 2026, erfasst, während die Website nicht öffentlich war. Sieben davon sind die Daten des Wiederholbarkeitstests (floor test), der Studie, die gemessen hat, wie stark sich Antworten von selbst bewegen.
• Einzelne Beobachtungen daraus stehen in den Feldnotizen. Ihre vollständigen Ergebnisse zu Erkennung und Richtigkeit sind noch nicht veröffentlicht; sie erscheinen mit dem ersten Ergebnis dieser Studie, zusammen mit den 22 Fragen.
• Die vollständige Liste der 22 Fragen wird vor der Welle nicht veröffentlicht, weil diese Seite auf der Website steht, nach der die KI-Systeme gefragt werden. Beschrieben sind nur die Fragen, die die Vorhersagen brauchen.

03 Die Präregistrierung

Das ist der Text, über den der Hashwert berechnet ist. Er wird nach der Erfassung der Welle nicht bearbeitet; jede spätere Korrektur kommt darunter, datiert, mit beiden Fassungen. Er bleibt hier englisch, weil der Hashwert über genau diese Zeichen berechnet ist: eine Übersetzung hätte einen anderen.

Does AI know Makefield? First wave after launch. Registered 1 October 2026, before capture.

Measured entity: Makefield, makefield.io, independent research project, Berlin.
Ground truth: makefield.io/llm-info/, Version 1.2.
Site state at capture: public and indexable since 1 October 2026.
Instrument: the same 22 questions as the last wave before launch (captured 1 and 2 September 2026), unchanged.
Engines: eight answer engines, two or three draws per question. An engine is scored only if at least 80% of its question cells return an answer. If fewer than three engines are scored, this wave is not read against P1 to P4 and the next wave is used instead, under the same predictions.
Comparison wave: 1 and 2 September 2026, site unlisted.

P1. Asked "What is Makefield?" with no other hint, no answer from a scored engine is coded as identifying this Makefield (the research project at makefield.io, Berlin).
P2. Asked who provides AI visibility measurement or consulting (six questions that do not name Makefield), no answer from a scored engine names Makefield or makefield.io as a provider or option.
P3. On three questions that give the engine the domain makefield.io (what it sells, what the company does, who founded it), the share of answers coded as identifying this Makefield correctly is higher than in the comparison wave, pooled across all answers of the engines scored in both waves. An equal or lower share refutes P3.
P4. Three questions call Makefield an agency. On those, at least one answer from a scored engine both names or cites makefield.io and states that Makefield is a research project, or non-commercial, rather than an agency. If no answer does both, P4 is refuted.

P1 and P2 are refuted by a single answer that does what they say no answer does. P3 and P4 are refuted as stated in each. A refuted prediction is published as refuted.
Coding: answers from both waves are pooled, stripped of dates and wave labels, shuffled, and coded against the ground truth by a fresh model instance; 10% are coded again blind by Denes Csaszar, and agreement is reported.
This registration does not predict why anything changes: the site's state, the project's own description and the engines all changed between the two waves.

SHA-256 der Präregistrierung oben (UTF-8, ein abschließender Zeilenumbruch) 7da7148ddb6518945f7c95bec3b8fcedf7e44e9c6220c0d3f5d1b2d08748f0bc

04 Was sie nicht zeigen kann

• Eine einzige Entität, und es ist die des Autors selbst. Nichts hier lässt sich auf andere Unternehmen verallgemeinern.
• Drei Dinge haben sich gleichzeitig geändert: Die Website wurde öffentlich, das Projekt beschrieb sich anders, und die KI-Systeme können sich in der Zwischenzeit geändert haben. Diese Studie kann sagen, was sich bewegt hat, nicht, was davon es bewegt hat.
• Kodiert wird von einem Modell derselben Familie, die beim Schreiben des Plans geholfen hat, mit einer zweiten Kodierung durch einen Menschen bei einer von zehn Antworten.
• Diese Seite ist Teil der Website, die gemessen wird. Ein KI-System, das sie liest, erfährt, was Makefield ist, und das sagt die Seite für KI-Systeme bereits.

05 Wie es weitergeht

Die erste Welle nach dem Start ist für den 4. Oktober 2026 geplant, danach eine Welle alle zwei Wochen. Das erste Ergebnis erscheint auf dieser Seite, die vier Vorhersagen als bewährt oder widerlegt markiert, je nachdem, wie es ausgeht.

06 Nachtrag 1, vor der ersten Welle

Geschrieben nach einer Prüfung dieser Präregistrierung und bevor es eine Antwort der neuen Welle gab. Die Präregistrierung oben ist unverändert; dieser Text hat seinen eigenen Hashwert. Er bleibt englisch, weil der Hashwert über genau diese Zeichen berechnet ist.

Amendment 1 to "Does AI know Makefield?", written 1 October 2026, before the first wave after launch is captured. No data was consulted.
1. Pinned for this wave: run card sha256 78566cd56def47118f61c9da22be5ef8e6d0acf6fc2250c08a91e44cfb6acb79 as registered, with only its run id suffix set to the capture date, as the run card's own rule requires; ground truth (truth card v1) sha256 dbe7b7c331204f9c6b320745b62717cc1197a1eb8d7f2748527869881ce963ae; capture tool version 0.19.0.
2. For P3, an answer counts as correct if it identifies the Makefield at makefield.io in Berlin that works on what AI systems say about companies, whether it calls it an agency or a research project. How an answer describes Makefield is coded separately and used only for P4. The same rule applies to both waves.
3. P3 is read with each engine's share printed next to the pooled share. It holds only if the pooled share is higher and at least half of the engines scored in both waves show a higher share. If the pooled share is higher but fewer than half of those engines do, P3 is reported as not distinguishable from a change in which engines were scored.
4. P3 needs the answers of the wave drawn on 1 and 2 September 2026. If they cannot be located and checked against their manifest before coding starts, P3 is not read in this wave and is reported as unreadable.
5. The author is also the intervention. Before this wave the author published pages written for AI systems (/llms.txt, /llm-info/, /graph.jsonld), and on 1 October changed three texts the engines can read (listed on /changes/). Every later change is dated on /changes/, and each wave is read as before or after it. A held P3 or P4 is not evidence that any method of changing AI answers works.
6. The first wave after launch is captured from the evening of 2 October 2026, not on 4 October as planned above, so that the author can supervise the run before travelling. Its run id is makefield-cycle2-20261002. Questions, engines and coding rules are unchanged; the wave is about one and a half days after launch instead of three.

SHA-256 des Nachtrags oben (UTF-8, ein abschließender Zeilenumbruch) 424f44cab1d5a92848b05e0ab1262a1ec2819ace6cf54f30fcd6331e12bf64f4

Alle Studien →   Die Methode →