Brand-Lift-Studie: Die Designentscheidungen, die darüber entscheiden, ob die Zahl etwas bedeutet

Ich habe das mehr als einmal erlebt. Eine Kampagne wird für sechs Wochen gebucht, die Studie schließt in Woche drei, weil sie ihre Ziel-Antwortanzahl erreicht hat, und der Wert beschreibt Woche drei einer Kampagne, die für sechs gekauft wurde. Alle im anschließenden Review behandeln ihn als das Ergebnis der Kampagne. Was Sie verlieren, ist nicht die Gebühr. Es ist das Argument, von dem Sie gehofft hatten, die Zahl würde es beenden.

Was eine Brand-Lift-Studie misst und was sie bewusst nicht misst

Eine Brand-Lift-Studie ist eine Umfrage, die als Experiment in einer Werbeplattform läuft. Ein Arm hat die Kampagne gesehen, ein zweiter nicht, und beide haben dieselbe Frage beantwortet. Die Zahl, die Sie zurückbekommen, ist die Differenz zwischen den beiden Armen, in Prozentpunkten dessen, wonach die Umfrage gefragt hat.

Aus diesem Design folgen drei Grenzen. Umsatz steckt nicht in der Antwort: Umfrageantworten sind kein Umsatz, und ein Lift-Wert lässt sich nicht in einen umrechnen. Auch alles außerhalb der beiden Arme fehlt, weil die exponierte Gruppe eine Stichprobe der Nutzer der Plattform ist und nicht Ihr Markt. Und die Zahl wandert nicht zwischen Plattformen, weil jede ihre eigenen Nutzer befragt, mit eigener Definition von Exposition und eigener Formulierung.

Was Sie stattdessen bekommen, ist für Marketingmessung ungewöhnlich sauber: zwei Gruppen, die sich theoretisch nur darin unterscheiden, ob sie die Anzeige gesehen haben. Jede der folgenden Entscheidungen ist ein Weg, auf dem diese Differenz unsauber wird.

Die erste Entscheidung ist, wie viele Fragen Sie sich leisten können

Google veröffentlicht eine Mindestbudget-Anforderung für eine Brand-Lift-Studie, gemessen über zehn Tage, und sie skaliert mit der Zahl der Fragen in der Umfrage. Die Vereinigten Staaten liegen im mittleren von drei Länder-Buckets: 10.000 US-Dollar für eine Frage, 20.000 US-Dollar für zwei, 60.000 US-Dollar für drei.

Lesen Sie den Sprung, nicht den Einstiegspreis. Die zweite Frage kostet 10.000 US-Dollar zusätzlich. Die dritte kostet 40.000 US-Dollar zusätzlich, doppelt so viel wie die ersten beiden zusammen. Das ist eine Rechnung, die ich auf Googles veröffentlichter Tabelle angestellt habe, und sie verschiebt das ganze Projekt. Drei Lift-Metriken sind die Obergrenze, jede Metrik ist eine Frage, und die teuerste Entscheidung der Studie ist, nach wie vielen Dingen Sie überhaupt fragen wollen. Sie fällt im Mediaplan, Wochen bevor jemand den Messbildschirm öffnet.

Der Bucket zählt so viel wie die Zahl. Der günstigste Bucket reicht bei denselben Fragezahlen von 5.000 bis 20.000 US-Dollar. Der teuerste, in dem Deutschland, Japan, Kanada, Australien und die nordischen Länder liegen, reicht von 15.000 bis 60.000 US-Dollar. Sechs Märkte bedeuten sechs Untergrenzen. Jede Plattform veröffentlicht ihre eigene, also lesen Sie die Hilfe-Seite der Plattform, bei der Sie einkaufen, und nicht die Zusammenfassung eines Anbieters darüber.

Connected TV auf Cross-Exchange-Line-Items ist die Ausnahme: keine Budgetanforderung, wobei Google in eigener Formulierung mindestens 15.000 US-Dollar pro Umfragefrage empfiehlt.

Die vier Brand-Lift-Entscheidungen vor dem Start

Kontrollgruppe: Was die Plattform Ihnen nicht überlässt

Die Lehrbuchversion dieser Entscheidung unterstellt, dass Sie den Vergleich wählen. Das tun Sie nicht. Die Arme kommen aus den Nutzern der Plattform, die Exposition definiert ihre Auslieferungslogik, und das Feldzeitfenster bestimmt sie. Was Sie wählen, ist, ob Sie den Vergleich annehmen, den sie baut, und was Sie prüfen, sobald die Zahlen da sind.

Zwei Dinge bleiben bei Ihnen. Der Zuschnitt, weil Zielgruppe und Geografie entscheiden, wessen Meinung gemessen wird. Und die Prüfung: Fragen Sie die Antwortanzahl pro Arm ab, nicht nur die Summe, und fragen Sie, aus welcher Population jeder Arm stammt. Wenn der exponierte Arm zu Menschen neigt, die die Marke schon kannten, sitzt diese Neigung in Ihrem Lift, und keine statistische Behandlung, die später dazukommt, entfernt sie wieder.

Das Erhebungsinstrument: welche Metrik Sie bezahlen

Bis zu drei Lift-Metriken pro Studie, jede eine eigene Frage mit eigener Antwortschwelle. Google nennt seine Schwellen pro Metrik, also brauchen drei Metriken dreimal so viele Antworten wie eine, bevor alle drei auflösen. Das ist die Rechnung hinter dem Budgetsprung oben und der Grund, warum eine Studie, die alles misst, nichts präzise misst.

Wählen Sie die Metrik, die zu Ihrer Entscheidung passt, nicht die, die am beeindruckendsten klingt. Die Werbeerinnerung bewegt sich eher mit der Reichweite, die Consideration mit Botschaft und Frequenz, die Kaufabsicht spät oder gar nicht. Lesen Sie dann den Fragetext in der Vorlage der Plattform, bevor Sie unterzeichnen. Die Formulierung ist für Sie festgelegt, also liefert eine Vorlage, die etwas Benachbartes fragt, eine präzise Antwort auf genau diese benachbarte Frage.

Laufzeit und der kleinste nachweisbare Effekt

Google veröffentlicht die Kurve, die entscheidet, ob Ihre Studie überhaupt etwas sehen kann: wie viele Umfrageantworten nötig sind, um einen bestimmten absoluten Lift nachzuweisen.

Dieselbe Seite rechnet ein Beispiel durch: Um eine Veränderung von 0,75 Prozent nachzuweisen, braucht es rund 33.000 Antworten. Halten Sie das gegen den Effekt, den Sie tatsächlich erwarten, denn eine Studie, die für ein paar tausend Antworten finanziert ist, sucht keinen Bruchteil eines Punktes.

Rechnen Sie das einmal für Ihre eigene Kampagne durch, und das Design ist nicht mehr abstrakt. Angenommen, Sie erwarten, dass das Creative die Consideration um einen Punkt bewegt. In Googles Tabelle liegt ein Punkt im Band von 20.000 bis 45.000 Antworten, also braucht die Studie so viele Antworten, bevor ein Ergebnis von einem Punkt mehr ist als Rauschen. Finanzieren Sie genug Media, um achttausend zu sammeln, liefert die Studie trotzdem eine Zahl. Sie kann nur nicht diese eine liefern, und der Bericht sagt nicht, ob die Kampagne nicht gewirkt hat oder das Instrument zu stumpf war, um es zu registrieren.

Lesen Sie die Kurve also gegen die Budget-Untergrenzen. Beim empfohlenen YouTube-Minimum rechnet Google mit einem Nachweis ab etwa 4.100 Antworten pro Metrik, und das liegt im Band, in dem die kleinste nachweisbare Bewegung drei Punkte beträgt. Dieselbe Dokumentation sagt, ein leistungsstarkes Line Item könne ab etwa 2.000 Antworten pro Metrik Ergebnisse zeigen. Das klingt nach einer guten Nachricht, bis Ihnen auffällt, dass 2.000 im Band liegt, in dem unter vier Punkten nichts nachweisbar ist.

Dann der Satz, der auf jedem Bericht stehen sollte. Ab 16.800 Antworten ohne nachgewiesenen Lift, so sagt es Googles Dokumentation, kann es sein, dass Sie Ihren Lift gar nicht nachweisen können. Nicht das Budget, das Sie ausgegeben haben: die Antwortanzahl. Eine Studie, die bei 3.000 Antworten nichts geliefert hat, und eine, die bei 16.800 nichts geliefert hat, behaupten zwei verschiedene Dinge, und nur die zweite ist nah an einem Befund.

Die Laufzeit folgt derselben Rechnung, nicht Ihrem Kampagnenkalender. Eine Standard-Lift-Studie schließt innerhalb von drei bis vierzehn Tagen ab. Enhanced Lift braucht das Dreifache des Standard-Mindestbudgets, läuft neun bis vierzehn Tage und existiert, um dreimal so viele Antworten zu sammeln. YouTube-Line-Items messen über den Flight hinweg, mit Umfragen, die vierzehn Tage laufen, und Cross-Exchange-Studien können vierzig Tage weiterlaufen oder bis genug Antworten da sind. Eine sechswöchige Kampagne kann also eine Woche lang gemessen werden, und nichts im Bericht sagt das.

Eine weitere Zahl entscheidet, was Sie überhaupt getrennt ausweisen können. Google zeigt einen Daten-Slice nur, wenn dieser Slice mindestens 250 Antworten erhalten hat, und 250 Antworten sind ein Niveau, keine Bewegung. Ein Segment, das Sie separat berichten wollen, braucht genug Antworten, um die Kurve allein zu schaffen, also gehört diese Zeile ins Budget vor der Feldzeit und nicht in einen Anhang danach.

Die Entscheidungsregel, vorher aufgeschrieben

Das ist keine statistische Frage, und deshalb wird sie übersprungen.

Googles Dokumentation sagt, eine Studie schließt ab, wenn sie ihre Ziel-Antwortanzahl erreicht, auch wenn die Kampagne noch läuft oder Flight-Tage übrig sind. Bei einem beschleunigten Flight läuft sie, bis sie einen statistisch signifikanten Lift nachweist oder feststellt, dass sich mit den aktuellen Daten keiner nachweisen lässt.

Lesen Sie die zweite Hälfte zweimal. Die Abbruchregel gehört der Plattform, und die Abbruchregel entscheidet, welcher Wert zum Ergebnis wird. Eine Studie, die in dem Moment endet, in dem sie Signifikanz erreicht, berichtet den Wert aus diesem Moment, und das ist nicht der durchschnittliche Effekt der Kampagne.

Nichts davon ist eine Kritik an der Plattform. Eine Abbruchregel ist legitim, sie ist dokumentiert, und sie existiert, damit Sie nicht für Antworten zahlen, die Sie nicht brauchen. Die Konsequenz ist enger und nützlicher: Wenn niemand etwas anderes festgelegt hat, wurde die Studie, die Sie bekommen, nicht darauf gebaut, einem Nullergebnis eine faire Chance zu geben.

Die Verteidigung ist ein Verfahren. Schreiben Sie es vor dem Start auf, und lassen Sie es von der Person unterschreiben, die das Ergebnis lesen wird. Fünf Felder: die Metrik, die Richtung, die Sie erwarten, der Mindest-Lift, der als Entscheidung zählt, die Antwortanzahl, die nötig ist, um ihn aufzulösen, und was Sie berichten, wenn die Studie früh endet. Das letzte Feld ist das, das niemand schreibt. "Wenn die Studie vor der von uns festgelegten Antwortanzahl endet, berichten wir sie als nicht entscheidbar" ist ein Satz, der eine Vorstandssitzung übersteht. Sein Fehlen ist der Grund, warum ein Nullergebnis am Ende als Ergebnis gilt.

Ob eine solche Zahl einen dauerhaften Platz im Reporting verdient, ist ein eigener Test, und wir legen ihn in unseren Marketing-KPIs an.

Brand Lift, Search Lift und Conversion Lift im Vergleich

Google verkauft drei Studientypen, und der Unterschied ist die Frage, die jeder beantwortet. Brand Lift fragt, ob die Kampagne bewegt hat, was Menschen denken und erinnern, und antwortet mit Umfragewerten. Search Lift fragt, ob Suchanfragen nach Ihrer Marke oder Kategorie unter den Menschen gestiegen sind, die die Kampagne gesehen haben. Conversion Lift fragt, ob die Media die Handlungen verursacht hat.

Ein Typ pro Frage. Ein Bericht, der alle drei trägt, bedeutet meistens, dass drei Fragen finanziert und keine vorab entschieden wurde. Wenn Sie die Kausalrechnung hinter der Conversion-Messung brauchen, ist das eine andere Methode, die wir in unserem Leitfaden zu Inkrementalitätstests auseinandernehmen. Wenn Sie eine Antwort darauf brauchen, welche von zwei Anzeigen besser läuft, ist das ein günstigeres Experiment, und die Mechanik steht in unseren Google Ads A/B-Tests.

Warum eine Lift-Studie eine Zahl liefert, mit der Sie nichts anfangen können

Ein enttäuschendes Ergebnis hat drei häufige Ursachen, und nur eine davon betrifft die Kampagne.

Die erste ist eine Stichprobe, die nach dem Budget bemessen wurde statt nach dem Effekt. Die Untergrenze kaufte eine Studie, die eine Bewegung von drei Punkten auflösen konnte, und von der Kampagne wurde ein Punkt erwartet. Nichts im Bericht sagt das.

Die zweite ist eine Metrik, die aus Bequemlichkeit gewählt wurde. Sie war im Planungsmeeting leicht zu verteidigen, und niemand hat geprüft, ob sie sich innerhalb des Fensters bewegen kann, das die Kampagne hatte.

Die dritte ist eine Abbruchregel, die niemand aufgeschrieben hat. Die Studie endete, als sie Signifikanz erreichte, der Wert aus diesem Moment wurde zum Ergebnis, und das Nullergebnis, das sie hätte liefern können, wurde nie erhoben.

Unterhalb der Kurve für den Effekt, den Sie erwartet haben, konnte die Studie ihn nicht finden, egal was der Bericht sagt. Ab etwa 16.800 Antworten löst das Band, in dem sie liegt, etwa anderthalb Punkte auf, ein Nullergebnis ist dort also ein Befund. Diese Unterscheidung entscheidet, ob eine Kampagne versagt hat oder eine Messung, und nur die erste sagt Ihnen, was Sie ändern sollen.

Eine Checkliste verhindert die Fehler, die Sie vor dem Start sehen können. Die beste, die ich in diesem Feld gefunden habe, ist die sechsstufige Pre-Flight-Liste von PulseAI, die die Kontrollgruppe an die erste Stelle setzt, die Metriken an die zweite und die Formulierung der Umfrage an die dritte. Was eine Checkliste nicht abdeckt, ist die dritte Ursache, weil der Abbruch in der Plattform passiert, während die Studie läuft.

Nichts davon macht die Studie überflüssig. Es macht sie zu einer bestimmten Behauptung innerhalb eines Budgets, das eine Überprüfung überstehen muss, und dieses Budgetargument ist ein eigenes Problem, das wir im Brand-Marketing auseinandernehmen.

Wie Brand Lift mit Markenerinnerung zusammenhängt

Zwei Instrumente, zwei Behauptungen. Markenerinnerung messen liefert Ihnen ein Niveau: Welcher Anteil einer definierten Zielgruppe kann Ihre Marke auf Nachfrage in den Sinn rufen. Eine Lift-Studie liefert Ihnen eine Differenz: Was sich zwischen einem exponierten und einem nicht exponierten Arm über den Zeitraum verändert hat, in dem die Kampagne lief.

Das erste beantwortet, wo Sie stehen. Das zweite beantwortet, was die Kampagne getan hat. Eine Lift-Studie enthält meist eine Erinnerungsfrage, was diesen Leitfaden zur Zuarbeit für diesen hier macht und nicht zur konkurrierenden Methode.