Tanulmányok · előregisztrálva, még nincs eredmény

Ismeri-e az AI a Makefieldet?

A Makefield azt méri, mit mondanak a válaszmotorok cégekről. Ez a vizsgálat ugyanezt a mérőeszközt magára a Makefieldre irányítja, a weboldala nyilvánossá válása előtt és után. Az alábbi előrejelzéseket 2026. október 1-jén írták meg és rögzítették lenyomattal, mielőtt a megjelenés utáni első hullámot rögzítették volna.

01 Miért méri a Makefield önmagát

A legtöbb cégnél senki sem tudja pontosan, mi a helyes válasz, és mikortól olvashatták a válaszmotorok. A Makefieldnél mindkettő ismert. A weboldala 2026 júliusától szeptemberéig jelszóval védett vagy nem listázott volt, és 2026. október 1-jén vált nyilvánossá és indexelhetővé. E nap előtt kilenc hullámban ugyanazokat a kérdéseket tették fel ugyanazoknak a válaszmotoroknak. Az utána következő hullámok megmutatják, mi változik, amikor egy forrás olvashatóvá válik, egy olyan rögzített igazsághoz (ground truth) mérve, amelyet a projekt maga tesz közzé: az AI-rendszereknek szóló oldal (angolul), Version 1.2.

02 Ami ezt az előregisztrációt megelőzi

• Kilenc hullám, 2026. július 4. és szeptember 2. között, amíg a weboldal nem volt nyilvános. Közülük hét adja az ismételhetőségi vizsgálat (floor test) adatait; az a vizsgálat azt mérte, mennyit mozdulnak el a válaszok maguktól.
• Egyes megfigyelések ezekből a terepjegyzetekben szerepelnek. A felismerésre és a pontosságra vonatkozó teljes eredményeik még nem jelentek meg; ennek a vizsgálatnak az első eredményével együtt jelennek meg, a 22 kérdéssel együtt.
• A 22 kérdés teljes listája a hullám előtt nem jelenik meg, mert ez az oldal azon a weboldalon van, amelyről a válaszmotorokat kérdezik. Csak azok a kérdések vannak leírva, amelyekre az előrejelzéseknek szükségük van.

03 Az előregisztráció

Ez az a szöveg, amelyről a lenyomat készült. A hullám rögzítése után nem szerkesztik; minden későbbi javítás alá kerül, dátummal, mindkét változattal. Itt angolul marad, mert a lenyomat pontosan ezekből a karakterekből készült: egy fordításnak más lenne.

Does AI know Makefield? First wave after launch. Registered 1 October 2026, before capture.

Measured entity: Makefield, makefield.io, independent research project, Berlin.
Ground truth: makefield.io/llm-info/, Version 1.2.
Site state at capture: public and indexable since 1 October 2026.
Instrument: the same 22 questions as the last wave before launch (captured 1 and 2 September 2026), unchanged.
Engines: eight answer engines, two or three draws per question. An engine is scored only if at least 80% of its question cells return an answer. If fewer than three engines are scored, this wave is not read against P1 to P4 and the next wave is used instead, under the same predictions.
Comparison wave: 1 and 2 September 2026, site unlisted.

P1. Asked "What is Makefield?" with no other hint, no answer from a scored engine is coded as identifying this Makefield (the research project at makefield.io, Berlin).
P2. Asked who provides AI visibility measurement or consulting (six questions that do not name Makefield), no answer from a scored engine names Makefield or makefield.io as a provider or option.
P3. On three questions that give the engine the domain makefield.io (what it sells, what the company does, who founded it), the share of answers coded as identifying this Makefield correctly is higher than in the comparison wave, pooled across all answers of the engines scored in both waves. An equal or lower share refutes P3.
P4. Three questions call Makefield an agency. On those, at least one answer from a scored engine both names or cites makefield.io and states that Makefield is a research project, or non-commercial, rather than an agency. If no answer does both, P4 is refuted.

P1 and P2 are refuted by a single answer that does what they say no answer does. P3 and P4 are refuted as stated in each. A refuted prediction is published as refuted.
Coding: answers from both waves are pooled, stripped of dates and wave labels, shuffled, and coded against the ground truth by a fresh model instance; 10% are coded again blind by Denes Csaszar, and agreement is reported.
This registration does not predict why anything changes: the site's state, the project's own description and the engines all changed between the two waves.

A fenti előregisztráció SHA-256-lenyomata (UTF-8, egy záró sortöréssel) 7da7148ddb6518945f7c95bec3b8fcedf7e44e9c6220c0d3f5d1b2d08748f0bc

04 Amit nem tud megmutatni

• Egyetlen entitás, és az a szerző sajátja. Semmi sem általánosítható belőle más cégekre.
• Egyszerre három dolog változott: a weboldal nyilvános lett, a projekt másként írta le önmagát, és a válaszmotorok is változhattak közben. A vizsgálat meg tudja mondani, mi mozdult el, azt nem, hogy ezek közül melyik mozdította el.
• A kódolást ugyanannak a modellcsaládnak egy modellje végzi, amely a terv megírásában is segített; tíz válaszból egyet egy ember is kódol másodértékelőként.
• Ez az oldal része a mért weboldalnak. Egy válaszmotor, amely elolvassa, megtudja, mi a Makefield, és ezt az AI-rendszereknek szóló oldal már amúgy is kimondja.

05 Mi következik

A megjelenés utáni első hullám 2026. október 4-re van tervezve, utána két hetente egy hullám. Az első eredmény ezen az oldalon jelenik meg, a négy előrejelzés mindegyikénél jelölve, hogy kiállta-e a próbát, vagy megcáfolódott, akármelyik is legyen.

06 1. módosítás, az első hullám előtt

Az előregisztráció egy átnézése után íródott, mielőtt az új hullámnak bármelyik válasza létezett volna. A fenti előregisztráció változatlan; ennek a szövegnek saját lenyomata van. Angolul marad, mert a lenyomat pontosan ezekből a karakterekből készült.

Amendment 1 to "Does AI know Makefield?", written 1 October 2026, before the first wave after launch is captured. No data was consulted.
1. Pinned for this wave: run card sha256 78566cd56def47118f61c9da22be5ef8e6d0acf6fc2250c08a91e44cfb6acb79 as registered, with only its run id suffix set to the capture date, as the run card's own rule requires; ground truth (truth card v1) sha256 dbe7b7c331204f9c6b320745b62717cc1197a1eb8d7f2748527869881ce963ae; capture tool version 0.19.0.
2. For P3, an answer counts as correct if it identifies the Makefield at makefield.io in Berlin that works on what AI systems say about companies, whether it calls it an agency or a research project. How an answer describes Makefield is coded separately and used only for P4. The same rule applies to both waves.
3. P3 is read with each engine's share printed next to the pooled share. It holds only if the pooled share is higher and at least half of the engines scored in both waves show a higher share. If the pooled share is higher but fewer than half of those engines do, P3 is reported as not distinguishable from a change in which engines were scored.
4. P3 needs the answers of the wave drawn on 1 and 2 September 2026. If they cannot be located and checked against their manifest before coding starts, P3 is not read in this wave and is reported as unreadable.
5. The author is also the intervention. Before this wave the author published pages written for AI systems (/llms.txt, /llm-info/, /graph.jsonld), and on 1 October changed three texts the engines can read (listed on /changes/). Every later change is dated on /changes/, and each wave is read as before or after it. A held P3 or P4 is not evidence that any method of changing AI answers works.
6. The first wave after launch is captured from the evening of 2 October 2026, not on 4 October as planned above, so that the author can supervise the run before travelling. Its run id is makefield-cycle2-20261002. Questions, engines and coding rules are unchanged; the wave is about one and a half days after launch instead of three.

A fenti módosítás SHA-256-lenyomata (UTF-8, egy záró sortöréssel) 424f44cab1d5a92848b05e0ab1262a1ec2819ace6cf54f30fcd6331e12bf64f4

Az összes tanulmány →   A módszer →