Forschung · das erste Forschungsprogramm

Zwei Forschungspartner

Makefield sucht zwei Organisationen, deren echtes, veröffentlichtes Wissen über sich selbst in seinem ersten Forschungsprogramm gemessen werden kann: wie richtig KI-Systeme sie beschreiben, gemessen an ihren eigenen Quellen. Es kostet nichts, es wird nichts verkauft, und eine Organisation wird nicht ohne ihre schriftliche Zustimmung genannt und sieht den Text vorher.

01 Was passiert

Wir vereinbaren eine kurze Reihe von Sachfragen zur Organisation, wie sie ein Käufer stellen würde. Die richtigen Antworten werden zuerst festgeschrieben, aus Quellen, die das Unternehmen bereits veröffentlicht hat: Spezifikationen, Dokumentation, die eigene Website. Dann wird jedes KI-System wiederholt gefragt, auf Englisch und Deutsch, und jede Antwort wird am festgeschriebenen Referenzstandard (Ground Truth) gewertet, wie in der Beispielmessung.

02 Was die Organisation bekommt

Eine vollständige Makefield-Messung dazu, wie KI-Systeme sie darstellen, bevor irgendetwas veröffentlicht wird: die Fragen, die festgeschriebenen Antworten, die Antworten jedes KI-Systems, die Ergebnistabelle und ihren Hashwert. Die Messung ist eine Messung, keine Beratung und keine Garantie. Was die Organisation damit macht, ist ihre eigene Sache. Makefield übernimmt den Fix nicht und empfiehlt niemanden, der ihn übernimmt.

03 Was Makefield bekommt

Die Erlaubnis, etwas Echtes zu untersuchen: Antworten über eine Organisation, die es gibt, geprüft an Fakten, die sie selbst veröffentlicht hat. Was die Messung lehrt, fließt in die Methode zurück. Eine Studie über die Organisation wird nur mit ihrer Zustimmung veröffentlicht, standardmäßig anonymisiert.

04 Was es kostet

Etwa eine Stunde, um die festgeschriebenen Antworten an den eigenen Quellen der Organisation zu bestätigen. Keine Gebühr, weder jetzt noch später.

05 Was veröffentlicht wird

Die Studie, mit ihrer Methode und ihren Grenzen, und nur mit Zustimmung der Organisation. Sie wird standardmäßig anonymisiert; genannt wird die Organisation nur, wenn sie dem gesondert schriftlich zustimmt (eine E-Mail genügt), und sie sieht den Text vor der Veröffentlichung. Ergebnisse, die sie erkennbar machen würden, bleiben draußen, es sei denn, sie stimmt zu.

06 Wer passt

• Eine Organisation mit Fakten, die sie selbst veröffentlicht hat und auf die sie verweisen kann.
• Ansässig in Deutschland, Österreich oder der Schweiz, oder mit Verkauf dorthin.
• Nicht aus einer Branche, in der beim Forschenden ein Interessenkonflikt besteht. Wenn du unsicher bist, frag vor der Bewerbung.

07 Das Tempo

Das ist ein Forschungsprojekt einer einzelnen Person, betrieben ein paar Stunden am Stück. Eine Messung dauert mehrere Wochen, zwei Partner sind eine Runde, und die nächste Runde öffnet erst, wenn diese veröffentlicht ist.

Schreib an hello@makefield.io →

Mit dem Namen der Organisation und einer Quelle, in der sie ihre eigenen Fakten veröffentlicht.