Der Fehler war höflich, und genau das machte es schlimmer
Sie klickten auf den Prompt AEO-Audit auf dem Startbildschirm. Sie sahen die Wörter "aeo audit" im Chatfeld landen. Und dann dachte die App einen Moment nach und erzählte Ihnen freundlich, was ein AEO-Audit ist.
Sie führte keines aus. Sie erklärte eines. Als würde man einen Hund bitten, den Ball zu holen, und einen kurzen Vortrag über die Geschichte der Bälle bekommen.
Das passierte unter der Haube. Bevor eine Nachricht zu Arbeit wird, liest ein kleines Modell sie und entscheidet, ob Sie etwas gebaut oder eine Frage beantwortet haben möchten. Das ist eine sinnvolle Aufgabe. Die Anweisungen, die wir ihm gegeben hatten, waren allerdings vor allem eine lange Liste von Warnungen davor, keine voreiligen Schlüsse zu ziehen. Führe kein Audit aus, nur weil jemand das Wort Audit gesagt hat. Nimm nichts an. Greife nicht vor. Wir haben einen sorgfältigen kleinen Bedenkenträger geschrieben, ihm dann zwei Wörter ohne jedes Verb hingehalten, und er tat, was Bedenkenträger tun. Er entschied, Sie seien wohl nur neugierig.
Zwei Korrekturen, und nur eine davon ist die interessante
Die langweilige Korrektur war, diese Anweisungen unmissverständlich neu zu schreiben. Wenn jemand die Arbeit befiehlt, und sei es in zwei müden Wörtern, führe die Arbeit aus. Wenn jemand fragt, was die Arbeit ist, rede mit ihm. Kürzer, klarer, weniger Warnungen. Das half.
Die Korrektur, auf die es ankommt: Die vorgefertigten Prompts fragen nicht mehr um Erlaubnis. Wenn Sie auf die Schaltfläche AEO-Audit klicken, öffnet die App das Audit direkt. Dazwischen sitzt kein Klassifizierer mehr, weil es nichts zu klassifizieren gibt. Sie haben auf die Schaltfläche geklickt, auf der Audit steht. Die Absicht ist nicht mehrdeutig, und ein Schritt, der nur scheitern kann, ist kein Schritt, den man behalten sollte.
Das ist die Lehre, die ich hier immer wieder lerne. Jede Vermutung, die Sie im Weg lassen, ist eine Stelle, an der das Produkt jemanden missverstehen kann, der bereits deutlich war.
Wenn wir schon dabei waren, eine unbequemere Frage
Sobald das Audit zuverlässig lief, ließ sich leichter erkennen, ob das Audit etwas taugte.
Es taugte nicht ganz. Die Bewertungsschwellen waren so gesetzt, dass manche Seiten denselben allgemeinen Rat bekamen, egal was auf ihnen stand, und schwache Kategorien bekamen symbolische Gesten zurück. Eine Seite mit 48 von 100 Punkten bei den Vertrauenssignalen bekam einen einzigen Vorschlag: eine Quellenangabe an einer Zeile ergänzen. Diese Zahl ist eine glatte Fünf, und die Lösung war ein Achselzucken.
Die Tiefe der Empfehlungen skaliert deshalb jetzt mit der Größe des Problems. Wenn eine Kategorie wirklich durchfällt, bekommen Sie substanzielle Änderungen im Umfang des Defizits, etwa Ihre stärksten Sachaussagen mit benannten, überprüfbaren Quellen neu zu schreiben. Und eine Kategorie, die die App Ihnen rot anzeigt, darf nicht mehr ohne Aufgabe zurückkommen.
Außerdem haben wir dafür gesorgt, dass Aktualität nur eine Sache bedeutet. Aktualität ist der Zeitpunkt der letzten Aktualisierung der Seite. Sie ist keine Ramschschublade für jede Bearbeitung, die den Text verbessert. Wenn Ihre einzige Lücke bei der Aktualität ein alterndes Datum ist, sollte man Ihnen sagen, welche inhaltliche Auffrischung eine Aktualisierung ehrlich rechtfertigen würde, statt Ihnen eine Überarbeitung im Aktualitätskostüm zu reichen.
Und wir haben den Rat gestrichen, Ihre Titel zu kürzen. Titellänge ist kein bedeutsamer Faktor für Antwortmaschinen. Antwortmaschinen lesen Ihren Fließtext. Wir verteilten ordentliche, selbstsichere, nutzlose Ratschläge, und ordentliche selbstsichere Nutzlosigkeit ist die schlimmste Sorte.
Ebenfalls behoben, weniger dramatisch
Der Wechsel zu einem kostenpflichtigen Tarif ließ Prompts, die Sie lokal geschrieben hatten, aus dem Prompt-Manager verschwinden. Nicht gelöscht, aber nicht angezeigt, was von Ihrem Platz aus dasselbe ist. Sie werden beim Upgrade jetzt mit hochkopiert, über den Text abgeglichen, damit nichts doppelt ankommt.
Verbindungen bekam eine Runde Sicherheitshärtung, die Tabelle der Bibliothek ein aufgeräumteres Layout, und ein Verbindungen-Tab, der Dinge versprach, die wir noch nicht gebaut haben, bleibt verborgen, bis wir sie gebaut haben.
Was mir aufgefallen ist
Jeder Fehler dieser Woche war derselbe Fehler mit einem anderen Hut. Die App wusste, was Sie wollten, und fügte dann einen Schritt ein, in dem sie sich das Wissen wieder ausreden konnte.
Ich lege mich jetzt unter dem Schreibtisch hin und denke darüber nach.
Der, der bei all dem unter dem Schreibtisch liegt.