Getestet wird die Anzeige, getestet wird die Landingpage, und der Satz, der das ganze Angebot trägt, geht per Augenschein durch. Das ist der Widerspruch: Sie haben für alles außer dem einen Satz ein Verfahren, das eine Entscheidung produziert. Kennen Sie den Namen der Person, die ihn zuletzt kritisch gelesen hat, bevor er live ging? Ein Text, den niemand abgelehnt hat, ist nicht dasselbe wie ein Text, der funktioniert, und die Lücke dazwischen füllt sich mit Vermutungen. Was ein unbefangener Leser daraus macht, entscheidet sich nicht im Meeting, sondern in einer halben Stunde mit fünf Menschen. Bleibt die Frage, wer diese halbe Stunde in Ihrem Kalender diese Woche blockt.
Die Überschrift, die im letzten Quartal live ging, wurde ausgewählt, weil im Raum niemand etwas dagegen sagte. Ich habe diese Entscheidung in neunzig Sekunden ablaufen sehen, und sie wird nie als Entscheidung protokolliert. Sie können ein Ad Set und eine Landingpage testen, und der Satz, der das ganze Angebot trägt, wird trotzdem per Augenschein freigegeben. Wie viele Menschen außerhalb Ihres Teams haben den letzten Text gelesen, bevor er live ging? Der Text muss am Donnerstag rausgehen, also geht die Vermutung live, und der einzige Mensch, der sie unbefangen liest, ist ein Fremder, den Sie nie treffen.
Der Text ging live, und nichts ist kaputtgegangen. Das ist der Teil, vor dem Sie niemand warnt. Eine Überschrift, die die Hälfte Ihrer Leser falsch versteht, sieht genauso aus wie eine, die funktioniert hat: Sie lädt, sie sammelt Klicks von Menschen, die ohnehin geklickt hätten. Die Fassung, die die Aussage in neun Wörtern statt in neunzehn erklärt hat, liegt noch in einem Dokument mit einem Kommentar aus dem März. Der Werbebotschaft-Test ist der Schritt, der das gefunden hätte, und der einzige Schritt, der nie einen Termin bekommt.
Was ein Werbebotschaft-Test tatsächlich misst
Drei Dinge, und nur das erste ist leicht zu erheben: ob ein Leser die Aussage verstanden hat, ob er sie geglaubt hat und ob er sie mit geschlossener Seite wiederholen könnte.
Die Präferenz ist das vierte, was Sie messen können, und das am wenigsten nützliche. Ein Leser kann eine Überschrift bevorzugen, die er falsch verstanden hat, weil sie vertraut klang und nicht, weil sie klar war. Fragen Sie, welche Überschrift die Leute bevorzugen, und Sie haben in dreißig Sekunden eine Antwort. Fragen Sie, was das Unternehmen verkauft, und sehen Sie, was passiert.
Der Werbebotschaft-Test, also Message Testing, ist bereits beantwortet, nur schlecht. Die erste Ergebnisseite ist voll von Autoritäten, die auf einen anderen Einkäufer zielen: Gartners Bewertungsmarktplatz, der Lösungen zum Kauf listet, die WHO, die Message Testing während einer Epidemie erklärt.
Methoden auf dem eigenen Traffic werden in diesem Feld ebenfalls genannt, in einem ICPA-Leitfaden, der Social-A/B und E-Mail-A/B neben fünf weiteren Ansätzen auflistet. Niemand, der sie nennt, führt den Satz zu Ende: keine Regel dafür, welches Ergebnis den Text live gehen lässt, keine Regel dafür, wann man aufhört, das Ergebnis zu lesen, keine Zeile dazu, was die Methode nicht beantworten kann. Wenn der Text aus einem Messaging-Framework kommt, ist das der nächste Schritt.
Die drei Tests, die Sie ohne Panel fahren können
Eine Reihenfolge, keine Auswahl. Jeder Test beantwortet eine andere Frage, und der günstigste entscheidet, ob sich die anderen beiden überhaupt lohnen.
Der Copy-Test mit fünf Lesern
Fünf Menschen, die nicht bei Ihnen arbeiten, je eine halbe Stunde, fünf einzelne Gespräche. Keine Fokusgruppe, die eine soziale Antwort produziert, wenn Sie die private wollen.
Die Zahl kommt aus der Usability-Forschung, mit Bedingungen. Jakob Nielsen schrieb 2012, wenn Sie eine einzelne Zahl wollen, testen Sie fünf Nutzer in einer qualitativen Usability-Studie, und dieselbe Seite nennt, wo das nicht mehr gilt: 20 oder mehr für quantitative Arbeit, 15 pro Gruppe beim Card Sorting, 39 für eine stabile Eyetracking-Heatmap. Fünf sind ein Instrument für Verständnis, kein Naturgesetz.
Dieselben fünf Fragen, dieselbe Reihenfolge, jedes Mal, dann hören Sie auf zu reden.
- Was verkauft dieses Unternehmen, in Ihren eigenen Worten?
- Was bedeutet dieser Satz für Sie? (lesen Sie das Wertversprechen einmal laut und nüchtern vor)
- Was erwarten Sie, das nach dem Klick passiert?
- Welchen Teil davon haben Sie nicht geglaubt?
- Welches Wort mussten Sie zweimal lesen?
Die Disziplin liegt in dem, was Sie nicht tun. Lesen Sie den Text nicht selbst vor, weil Sie die Wörter betonen, die Sie gemeint haben, und über die hinweggleiten, die scheitern. Fragen Sie nicht, ob es ihnen gefällt. Erklären Sie nichts, bevor sie antworten; wenn Sie sich beim Erklären ertappen, haben Sie Ihre Erklärung getestet.
Zwei ehrliche Einschränkungen. Kollegen und bestehende Nutzer sind ein verzerrter Stellvertreter, und ein strukturiertes Vorgespräch ist nicht ohne Vorbild: Forthright Advising fährt aus demselben Grund eine fünfzehnminütige Schnellbefragung im eigenen Team. Ihre Variante legt den Fragesatz fest, statt ihn zu improvisieren, und schreibt die Verzerrung auf, mit mindestens drei von fünf Personen von außerhalb des Unternehmens. Das ist keine Voice-Prüfung: Sie testen, ob die Aussage angekommen ist.
Der Headline-Tausch auf einem laufenden Ad Set
Ändern Sie eine Sache. Die Überschrift. Halten Sie Bild, Zielgruppe, Landingpage und Gebot identisch, sonst verbringen Sie zwei Wochen damit zu lernen, welche von vier Änderungen gewirkt hat.
Google Ads fährt das als echtes Experiment, mit einem Kontrollarm und einem Testarm, die Budget oder Traffic aufteilen. Legen Sie das Fenster vor dem Start fest: vierzehn Tage, eine Mindestzahl an Klicks, die Sie verteidigen können, und was Sie tun, wenn der Unterschied im Rauschen landet. Die Antwort auf die letzte Frage ist: nichts, und genau das aufzuschreiben hindert Sie daran, sich eine Geschichte über eine Differenz von zwei Prozent zu bauen. Wenn das Ad Set in dem Fenster nicht genug Klicks erzeugen kann, kann es nichts berichten, und die Mechanik des Aufbaus steht in unserem Leitfaden zu A/B-Tests in Google Ads.
Was Sie bekommen, ist Aufmerksamkeit, und eine Überschrift kann den Klick gewinnen und den Leser eine Seite später verlieren.
Die Landingpage mit zwei Varianten und einer Entscheidungsregel vor dem Start
Google Optimize, das kostenlose Testwerkzeug auf der Seite, wurde am 30. September 2023 abgeschaltet und verwies die Nutzer auf kostenpflichtige Anbieter. Ein Plattformvergleich von Articos bepreist einen bezahlten Weg mit knapp $99 im Monat und kombiniert den kostenlosen mit Ihrer eigenen Liste. Diesen Test fahren Sie, sobald sich die ersten beiden auf eine Richtung geeinigt haben.
Schreiben Sie die Regel, bevor die Varianten live gehen, in einer Zeile, im selben Dokument. Wenn B die Variante A bei der primären Conversion über vierzehn Tage um mindestens fünfzehn Prozent schlägt, bei 1.200 Sitzungen pro Variante, geht B live. Andernfalls bleibt A stehen und Sie hören auf zu schauen. Diese Zahlen zeigen die Form, sie sind kein Benchmark zum Abschreiben.
Die Dauer folgt dem Traffic, nicht dem Kalender. Die Dokumentation von Optimizely setzt einen Geschäftszyklus, sieben Tage, als Minimum und dimensioniert die Stichprobe aus den wöchentlichen Besuchern; die Disziplin ist der Teil, der es wert ist, behalten zu werden. CleverX ist am unteren Ende deutlicher: 10.000 Besucher pro Woche produzieren Gewinner in Tagen, 200 pro Woche brauchen Monate.
| Copy-Test mit fünf Lesern | Headline-Tausch auf einem laufenden Ad Set | Landingpage mit zwei Varianten |
|---|---|---|---|
Kosten | Nur Zeit: fünf Menschen, die Sie erreichen, je eine halbe Stunde | Bestehendes Anzeigenbudget, umgeleitet. Die Experiment-Funktion der Plattform kostet nichts extra | Bestehender Traffic, umgeleitet. Kostenloses Testwerkzeug auf der Seite endete mit Optimize; Articos setzt den bezahlten Weg bei knapp $99 im Monat an |
Zeit | Tage: fünf Gespräche innerhalb einer Woche | Tage bis eine Woche Auslieferung, plus das von Ihnen festgelegte Fenster | Sieben Tage Minimum, vierzehn, wenn Ihre Käufer im Wochenrhythmus unterwegs sind |
Was es beantwortet | Ob ein Leser die Aussage verstanden, geglaubt hat und mit geschlossener Seite wiederholen könnte. Welches Wort die Verwirrung ausgelöst hat | Welche von zwei Überschriften mehr Klicks aus derselben Zielgruppe beim selben Budget holt | Welche von zwei Seiten besser konvertiert, gemessen am Verhalten statt an der geäußerten Präferenz |
Was es nicht beantworten kann | Alles zu Skalierung oder Präferenzanteil. Alles Kausale. Ob der Text verkauft | Nichts zu Verständnis oder Glauben, und nichts nach dem Klick | Nichts zum Warum. Ein Conversion-Unterschied ohne Lesart dahinter benennt einen Gewinner, nicht einen Satz |
Wie es scheitert | Suggestivfragen, oder Leser, die ausgewählt wurden, weil sie zustimmen | Aufhören, wenn die Zahl gut aussieht, der Fehler, den Evan Miller benennt | Hineinschauen, oder es bei einer Stichprobe zu entscheiden, die die Seite nicht tragen kann |
Wann ein Panel-Test sein Geld wert ist
Ein Panel kauft drei Dinge, die Ihr eigener Traffic nicht liefern kann: Befragte statt Kollegen, Kontrolle über die Expositionszeit und genug Menschen pro Variante, um Segmente zu vergleichen. Die Designs sind konkret: Monadisches Copy-Testing fährt 100 bis 150 Befragte pro Variante, und ein sequenziell monadisches Design braucht 150 bis 200 für drei Botschaften, weil jeder Befragte jede Variante sieht. Expositionsfenster laufen fünf bis fünfzehn Sekunden für eine Überschrift und dreißig bis sechzig für ein Wertversprechen. Live wissen Sie nie, wie lange jemand hingeschaut hat.
Vier Bedingungen machen die Ausgabe verteidigbar. Die Entscheidung ist teuer und schwer rückgängig zu machen, wie die Zeile auf der Startseite oder ein Kategoriename. Sie brauchen eine Lesart zu einem Segment, das Ihr eigener Traffic kaum enthält. Sie brauchen drei oder mehr Botschaften im Vergleich innerhalb eines Quartals. Die Zahl muss einen Raum außerhalb des Marketings überstehen. Außerhalb dieser vier ist ein Panel ein teurer Weg, eine Frage zu beantworten, die Ihr eigener Traffic bis Freitag beantwortet hätte. Wenn Sie Erinnerung statt Verständnis brauchen, deckt das Messen der Markenerinnerung dieses Instrument ab.
Was ein Werbebotschaft-Test Ihnen nicht sagen kann
Er kann Ihnen nicht sagen, ob die Kampagne das Ergebnis verursacht hat. Ein Werbebotschaft-Test liest, ob die Wörter gewirkt haben. Ein Incrementality-Test liest, ob die Ausgabe das Ergebnis verursacht hat, und kein noch so großer Copy-Test ersetzt ihn.
Er kann Ihnen nicht sagen, dass der Text verkauft, dass das Angebot stimmt oder dass der Preis Sinn ergibt. Er kann Ihnen auch nicht sagen, warum eine Seite konvertiert ist: Ein Conversion-Unterschied ohne Lesart dahinter sagt, welche Seite gewonnen hat, nicht welcher Satz die Arbeit gemacht hat.
Er kann kein Versprechen retten, das das Produkt nicht halten kann, und er hilft nicht, wenn niemand es sieht. Vierzig Klicks pro Woche sind ein Münzwurf, nur aufwendiger.
Wie Sie das Ergebnis lesen, ohne sich selbst etwas vorzumachen
Drei Zeilen gehören vor dem Start ins Dokument: die Variante, die Zahl, die entscheidet, das Datum, an dem das Fenster schließt. Ohne sie ist alles danach eine Geschichte über eine Zahl, die Sie schon gesehen haben.
Schauen Sie nicht früh hinein. Evan Miller hat das Argument 2010 aufgeschrieben, und es ist nicht gealtert: Die Signifikanzrechnung setzt voraus, dass die Stichprobengröße vorab festgelegt wurde, und wiederholtes Hineinschauen verletzt diese Annahme, also bedeutet die Zahl nicht mehr, was sie zu bedeuten scheint.
Behandeln Sie ein spektakuläres frühes Ergebnis als ein Problem im Aufbau. Die Plattformdaten von Convert berichten, dass 7,8 Prozent der abgeschlossenen Tests eine Verbesserung von 100 Prozent und mehr zeigen, und rahmen das als Twymans Gesetz: Ergebnisse, die zu gut sind, um wahr zu sein, sind es meistens.
Dann entscheiden Sie, was passiert, wenn die Variante sich nie absetzt. Wenn das Fenster schließt und die Fassungen zu nah beieinander liegen, ist der Text nicht die entscheidende Variable, und Sie entscheiden nach etwas anderem: welche Fassung ein unbefangener Leser schneller versteht, welche die Rechtsabteilung ohne sechs Runden freigibt. Sagen Sie das vorher, und ein Nullergebnis wird zu einer Entscheidung. Für die Budgetstufe, in der Ausstiegsbedingungen die Ausgabe steuern, setzt unsere Markenbekanntheits-Strategie auf einer anderen Ebene an.
Bei fünf Lesern gibt es keine Signifikanz zu lesen, also lesen Sie auf Muster: Drei von fünf stolpern über dasselbe Wort, das ist der Befund, und fünf verschiedene Lesarten bedeuten, dass der Text mehrdeutig ist. Notieren Sie das Ergebnis neben der Regel, eine Zeile pro Variante.
Fangen Sie mit fünf Lesern an
Ich habe Text ungetestet live gehen lassen, öfter als ich zugeben möchte: Die Frist ist real, der Test fühlt sich optional an, und die Seite geht raus. Die Kosten zeigen sich Monate später als eine Zahl, die niemand erklären kann.
Nehmen Sie das Asset, das als nächstes live geht, suchen Sie fünf Menschen, die nicht zu Ihrem Team gehören, und stellen Sie die fünf Fragen in derselben Reihenfolge. Ein Werbebotschaft-Test in dieser Größe kostet eine halbe Stunde und kein Budget, und er sagt Ihnen in einer Woche mehr über Ihren Text als ein Dashboard in einem Quartal. Die Überschrift, die nächsten Monat rausgeht, kostet so oder so mehr als eine halbe Stunde.
Häufige Fragen
Gibt es einen Rahmen für die Logistik des Werbebotschaft-Tests, oder improvisiert jeder?
Kein veröffentlichter Rahmen deckt die Logistik ab, und die drei Tests oben sind eine Reihenfolge und kein Rahmen. Wo ein Marketer fragt und kein Anbieter antwortet, lautet die Frage genau so: "Is there any framework that helps with the logistics of it? Like version control, tracking if it's working etc." Eine Reihenfolge mit einer geschriebenen Regel vor jedem Schritt beantwortet das, und sie ist kein Rahmen.
Wie behalten Sie die Versionskontrolle über den Text, während Sie ihn testen?
Eine Zeile pro Variante in einem Dokument: der genaue Text, das Datum, an dem er live ging, die Regel, die entscheidet, das Ergebnis. Benennen Sie die Datei nach dem Datum und nicht nach "final", weil es ein final zwei und ein final drei geben wird. Halten Sie die Fassungen fest, die verloren haben, weil diese Zeile zeigt, ob eine Änderung je getestet wurde.
Woran erkennen Sie, ob ein Werbebotschaft-Test wirkt und nicht nur fertig ist?
Ein Test, der fertig ist, hat Traffic produziert. Ein Test, der gewirkt hat, hat eine Frage beantwortet, die Sie vor seinem Start aufgeschrieben haben. Wenn Sie den Satz nicht nennen können, den Sie aufgrund des Ergebnisses ändern würden, sammeln Sie Daten.
Was kann ich ohne Research-Budget und ohne Panel tun?
Fünf Leser, ein fester Fragesatz, je eine halbe Stunde, diese Woche. Es sagt Ihnen nicht, welche Überschrift gewinnt. Es sagt Ihnen, welchen Satz niemand verstanden hat, und genau das macht die anderen beiden Tests lohnenswert.
Testen Sie das Nächste, was live geht
Fahren Sie die fünf Gespräche, bevor der Text live geht. Allable hält Recherche, Entwurf und Ergebnis an einem Ort, sodass der nächste Test dort ansetzt, wo der letzte aufgehört hat.
