Markenbekanntheit messen: Die Zahl, die Sie verteidigen können, und die, die Sie nicht können

Sie haben wahrscheinlich schon einmal eine Bekanntheitszahl in einem Raum präsentiert und gesehen, wie sie gewirkt hat. Die Zahl stieg, die Köpfe nickten, das Budget überlebte ein weiteres Quartal. Niemand fragte, wie viele Menschen befragt wurden oder in welcher Reihenfolge die Fragen kamen. Welche davon sitzt gerade in Ihrer letzten Präsentation? Die Mechanik des Messens von Markenbekanntheit ist leicht zu finden. Was selten aufgeschrieben wird, ist die Menge der Entscheidungen, die bestimmt, ob die Antwort auch anders hätte ausfallen können, und genau danach wird ein Aufsichtsrat irgendwann fragen.

Die Zahl kam als dritte Folie von oben, zwischen einem Reichweitenchart und einer Ausgabentabelle. Die ungestützte Bekanntheit war um neun Prozentpunkte gestiegen. Der Raum akzeptierte das in vier Sekunden. Drei Monate später erzählte die Pipeline-Prüfung eine andere Geschichte, und zu diesem Zeitpunkt lag die Folie in einem Board-Paket, das niemand mehr aufdröseln konnte.

An dieser Abfolge war nichts unehrlich. Die Umfrage war echt, die Befragten logen nicht, und die Analystin rechnete richtig. Das Design konnte keine andere Antwort liefern: Die Stichprobe war zu klein, um gewöhnliche Schwankung von einem Kampagneneffekt zu trennen, und die Messung kam spät genug, dass ein echter Effekt verblasst wäre.

Der Preis dafür stand nie auf einer Rechnung. Es war die Entscheidung, die die Zahl ausgelöst hat: das Budget, das Sie verteidigt haben, und der Kanal, den Sie gestrichen haben.

Ungestützte und gestützte Markenbekanntheit sind nicht zwei Versionen einer Zahl

Eine gestützte Antwort (brand recognition) kann aus Vertrautheit entstehen: Die befragte Person hat Ihr Logo einmal gesehen, und ein gezeigter Name fühlt sich bekannt an. Das ist echte Information über einen Markt, und es ist nicht dasselbe wie erinnert zu werden. Eine ungestützte Antwort (brand recall) entsteht überhaupt nur, wenn Ihre Marke in der kurzen Menge der Namen sitzt, die auftaucht, wenn jemand an Ihre Kategorie denkt.

Zwei Instrumente also, die auf verschiedene Teile eines Erinnerungsspeichers gerichtet sind. Die Lücke sagt Ihnen, wie stark Ihre Bekanntheit von einem Hinweis abhängt. Wenn die gestützte Zahl hoch läuft und die ungestützte nicht, haben Sie ein Problem mit der Kategorieverbindung, und mehr Media löst es nicht.

Lesen Sie die Lücke, nicht das Paar. Wenn beide über zwei Wellen steigen, bildet sich die Kategorieverbindung. Die gestützte Zahl bewegt sich meist zuerst, weil Reichweite die Wiedererkennung hebt, bevor sie den Abruf hebt. Die ungestützte Zahl berichtet, ob die Arbeit ohne Hinweis überlebt, und sie bewegt sich langsamer, weshalb eine Prüfung nach zwei Monaten oft nichts zeigt, während eine nach neun Monaten etwas Echtes zeigt.

Die Formel ist der leichte Teil

Die Rechnung ist eine Zeile: die Befragten, die Ihre Marke an der Position genannt haben, die Sie als erinnert zählen, geteilt durch alle, die geantwortet haben, mal hundert. Die Branche veröffentlicht sie bereitwillig, und genau deshalb sitzt die Schwierigkeit nicht dort.

Was sie voraussetzt, ist der Punkt, an dem es schiefgeht: ein sauberer Nenner, kein Hinweis vor der Frage, dieselbe Formulierung wie bei der Zahl, gegen die Sie vergleichen, und eine Stichprobe, die groß genug ist, dass der Prozentwert nicht überwiegend Stichprobenfehler ist. Brechen Sie einen dieser Punkte, und die Arithmetik läuft weiterhin fehlerfrei.

Der Nenner ist das erste Opfer. Abbrüche, Weiß-nicht-Antworten und die Bereinigung durch den Anbieter verändern alle die Zahl unter dem Bruchstrich. Der Zähler auch: Die Position, die Sie als erinnert zählen, ist eine Entscheidung, und zwei Wellen derselben Studie können auseinanderlaufen, nur weil ein Bericht Nennungen in den Top drei gezählt hat und der andere ausschließlich Ersterwähnungen.

Dieselbe Entscheidung gilt für eine Muttergesellschaft, die neben ihrer Produktlinie genannt wird: Legen Sie einmal fest, ob das zählt, schreiben Sie die Regel auf, und halten Sie sie.

Die Stichprobengröße entscheidet, ob Sie überhaupt etwas belegen können

Eine einzelne Kennzahl, auf die Sie handeln wollen, braucht ungefähr 384 Antworten. Das ist die Standardherleitung für eine große Grundgesamtheit bei 95 Prozent Konfidenz und einer Fehlermarge von plus oder minus 5 Prozentpunkten, in einer Tabellenkalkulation reproduzierbar. Es ist Arithmetik, keine Branchennorm, und sie trägt eine Klausel, die zweimal gelesen werden sollte: Fünf Prozentpunkte sind die kleinste Bewegung, über die diese Stichprobe sprechen kann.

Diese Klausel ist der Teil, der übersehen wird. Dieselbe Stichprobe, die Ihnen erlaubt, eine Zahl ehrlich zu nennen, deckelt zugleich, wie klein eine Veränderung sein darf, die Sie als Veränderung berichten. Beauftragen Sie eine Studie dieser Größe, und eine Kampagne, die die Bekanntheit tatsächlich um drei Prozentpunkte gehoben hat, kommt zurück, als wäre nichts passiert. Das ist ein falsch negatives Ergebnis, das sich als Vorsicht ausgibt.

Der Vergleich ist schlimmer. Zwei Segmente brauchen 384 pro Segment, nicht 384 insgesamt. Um einen Unterschied zwischen zwei Gruppen zu erkennen statt eine zu beschreiben, kommt man mit ungefähr 385 pro Gruppe auf 5 Prozentpunkte bei 95 Prozent Konfidenz und 80 Prozent Teststärke, während ungefähr 2.400 pro Gruppe auf 2 Prozentpunkte kommt. Der Leitfaden von Koji zur Stichprobengröße von Umfragen setzt eine Trackingwelle bei 300 bis 500 Befragten an, was reicht, um einen Zustand zu beschreiben, und nicht reicht, um eine Verschiebung zu belegen.

Dann der Satz, den Sie am häufigsten hören: Wir haben 500 Antworten, also schneiden wir sie in zehn Scheiben. Jede Scheibe trägt ihre eigene Stichprobe und muss die Schwelle allein überschreiten, also können fünfzig Befragte pro Scheibe ein Segment beschreiben und nichts darüber klären. Ein Segment, das es verdient, separat berichtet zu werden, braucht vor der Feldphase eine eigene Budgetzeile, nicht nachher eine Fußnote.

Rechnen Sie in die andere Richtung, wenn Sie eine Studie erben statt sie zu beauftragen. Nehmen Sie die Stichprobe, die Sie tatsächlich haben, arbeiten Sie die kleinste Differenz heraus, die sie erkennen kann, und halten Sie diese Zahl neben das Ergebnis, das Ihnen übergeben wurde. Ist die berichtete Bewegung kleiner als diese Schwelle, beschreibt der Bericht Rauschen mit einem Dezimalpunkt darauf.

Dieselbe Arithmetik gilt für eine Bewegung, die Sie gerade feiern wollen. Ein Anstieg um drei Prozentpunkte bei vierhundert Befragten ist kein Beleg für einen Anstieg um drei Prozentpunkte. Die Fehlermarge ist eine Bandbreite, keine Toleranz: Bei einem Fünftel der Befragten mit fünf Prozentpunkten in beide Richtungen kann Ihre nächste Welle überall innerhalb eines 10-Prozentpunkte-Bands landen und dabei das identische Ergebnis sein.

Vier Dinge entscheiden, was Sie später sagen können, also schreiben Sie sie ins Briefing, bevor irgendetwas ins Feld geht:

• Stichprobengröße, als Auflösung benannt. Fragen Sie, welche Größe einer Bewegung die Studie erkennen kann, nicht wie viele Antworten sie liefert.
• Fragenreihenfolge, fest und dokumentiert. Ungestützt zuerst, immer, sonst sind zwei Wellen nicht vergleichbar.
• Erinnerungsfenster, gewählt und eingefroren. Das Intervall zwischen Exposition und Interview gehört ins Briefing.
• Wer gefragt wurde. Ein Panel, eine Kundendatei und eine Befragung vor einem Laden beantworten drei verschiedene Fragen.

Der letzte Punkt kann scheitern, bevor irgendjemand eine Frage formuliert. Eine Kundendatei läuft hoch aus Gründen, die nichts mit Werbung zu tun haben, also ist ein driftender Kundenanteil eine Veränderung darin, wer geantwortet hat.

Ob ein Bekanntheitswert dann einen dauerhaften Platz im Reporting verdient, ist eine eigene Disziplin, die unser Leitfaden zu Marketing-KPIs behandelt.

Fragenreihenfolge und Erinnerungsfenster sind Designentscheidungen

Beides wird als Feldroutine abgelegt, und beides verändert die Antwort stärker als jede Analyse, die Sie anschließend laufen lassen.

Läuft die gestützte Frage zuerst, hat die befragte Person Ihren Namen gerade von einer Liste gelesen und hält ihn noch, als sie gebeten wird, Marken ungestützt zu nennen. Was Sie als Zweites erheben, ist ein Abruf, der mit der Antwort bereits im Arbeitsgedächtnis stattfindet.

Frieren Sie die Reihenfolge ein, ungestützt, dann gestützt, dann Attributionsfragen, und schreiben Sie sie ins Briefing. Fordern Sie den Fragebogen in der Reihenfolge an, in der er ins Feld geht: Wenn ein Logoboard über der offenen Frage sitzt, ist die Verunreinigung bereits im Dokument.

Nun das Fenster. Nielsen führte ein kontrolliertes Experiment über 49 Videoanzeigen durch und verfolgte, was danach mit der Erinnerung passierte. Die gestützte Wiedererkennung fiel über Nacht nahezu auf die Hälfte. Der ungestützte Abruf halbierte sich innerhalb der ersten 24 Stunden, und bei der Hälfte der untersuchten Marken lag er fünf Tage später noch auf diesem niedrigeren Niveau.

Ein Detail dieses Experiments lässt sich leicht überspringen. Antworten, die im Kontext enkodiert werden, also Fragen, die die Sendung oder die Platzierung nennen, in der die Anzeige lief, sind leichter abzurufen als Fragen, die die Anzeige abstrakt behandeln. Das ist ein weiterer Hebel mit messbarem Effekt auf die Zahl, und er sitzt im Fragebogen und nicht im Mediaplan.

Eine Messung nach 24 Stunden und eine nach drei Wochen sind nicht dasselbe Instrument, und der Abstand zwischen ihnen ist größer als die meisten Kampagneneffekte, die Sie belegen wollen. Ein Kreativtest will das kurze Fenster, weil die Frage ist, ob die Arbeit angekommen ist. Eine Markengesundheitswelle will das lange, konstant gehalten.

Frieren Sie es im Briefing ein, zusammen mit der Fragenreihenfolge. Ein Tracker, der vom kurzen ins lange Fenster rutscht, berichtet einen Rückgang, der kein Rückgang ist.

Warum eine Zahl nach der Kampagne nicht der Kampagne zugeschrieben werden kann

Das ist der Fehler, der am meisten kostet, weil er nach Gründlichkeit aussieht. Eine Kampagne läuft, danach geht eine Umfrage raus, und die Bekanntheit kommt über dem Benchmark des Vorjahres zurück. Alle im Raum lesen eine Kausalaussage in eine Zahl hinein, die keine enthält.

Der Benchmark ist die Stelle, an der die Logik abrutscht. Wenn er aus einem anderen Fragebogen, einem anderen Panel oder einem anderen Quartal stammt, ist er keine Messung desselben Instruments. Eine Messung nach der Kampagne misst die Kampagne, den Kaufzyklus, das gewöhnliche Rauschen der Kategorie und alles andere, was die befragte Person in diesem Monat gesehen hat, und sie kann diese vier nicht trennen. Ohne eine Messung vor der Kampagne im selben Design halten Sie eine Zustandsbeschreibung in der Hand und nennen sie einen Effekt.

Mit einer frühen Welle in der Hand wird die Zahl nutzbar. Wenn die ungestützte Bekanntheit drei Wochen vor dem Start auf einem bekannten Niveau stand und sechs Wochen danach woanders liegt, bei derselben Frage und demselben Panel, haben Sie eine Differenz zwischen zwei Messungen eines Instruments: immer noch kein Beweis, aber die einzige Version der Aussage, die eine Nachfrage übersteht.

Die Reihenfolge zählt so viel wie die Existenz der Welle. Eine zweite Messung nach der Kampagne kann eine fehlende erste Messung nicht reparieren, und keine statistische Anpassung holt eine Baseline zurück, die nie im Feld war. Das ist die eine Entscheidung in einer Studie, die vor dem Start getroffen werden muss, und deshalb ist sie auch die, die am häufigsten übersprungen wird.

Die faire Version der Kritik ist enger, als sie klingt. Einige Seiten der Branche nennen tatsächlich eine Baseline. Luth Research ordnet sie für eine Ad-Recall-Studie in eine Sequenz: Bekanntheit als Ausgangswert, dann eine exponierte Gruppe gegen eine vergleichbare Kontrolle. Attest sagt, ein ungestützter Wert bedeute wenig ohne den Vergleich mit früheren Befragungen.

Das Problem ist die Platzierung: Eine Baseline erscheint als ein Schritt im Ablauf einer Umfrage, nie als das, was entscheidet, ob die Zahl überhaupt zugeschrieben werden kann.

Dann die Kontrollgruppe, bei der eine weit verbreitete Erklärung die Logik umdreht. Happydemics definiert seine Kontrolle als Menschen, die sich nicht an die Anzeige erinnerten. Die Gruppe, gegen die Sie vergleichen, ist durch das Ergebnis ausgewählt, das Sie messen. Teilen Sie eine Stichprobe danach, ob Menschen sich erinnern, und vergleichen Sie dann die Hälften im Erinnern, steckt der Befund schon in der Gruppierung. Eine Kontrolle muss sich in der Exposition unterscheiden, nicht in der Antwort.

Eine zu bauen ist schwieriger, als es klingt: Sie halten eine gematchte Gruppe aus dem Mediaeinkauf heraus oder vergleichen schwere und leichte Exposition innerhalb eines Publikums.

Die stärkste benachbarte Warnung kommt von On Device, das 2.000 Brand-Lift-Studien analysiert hat, in einer Berichterstattung von Advertising Week. Ad Recall war in 80 Prozent der Fälle ungenau als Proxy für Exposition, und der angegebene Ad Recall unter den eigenen Kunden einer Marke lag 3,1-mal höher als unter Nichtkunden, wo die Expositionsraten vergleichbar waren. Das ist ein Befund über Ad Recall und Brand Lift, nicht über Markenbekanntheit, und das Muster wiederholt sich: Ein Panel, das sich in Richtung Kunden verschiebt, berichtet einen Anstieg, den kein Media gekauft hat.

Die Korrektur kostet eine zusätzliche Welle: Stellen Sie dieselbe Frage, in derselben Reihenfolge, im selben Fenster, gegen denselben Publikumsrahmen, vor der Kampagne, und einigen Sie sich vorab, was als Ergebnis zählt. Wenn eine zweite Welle nicht finanzierbar ist, halten Sie eine kleine gematchte Zelle aus dem Einkauf heraus und stellen beiden dieselbe Frage.

Wenn die Bekanntheit steigt und der Umsatz nicht

Ein Anstieg ohne Umsatz dahinter hat gewöhnliche Erklärungen, und keine davon beinhaltet, dass jemand lügt. Der nützliche Schritt ist, sie der Reihe nach auszuschließen, die billigste zuerst.

Fangen Sie beim Design an: Die Frage hat sich vielleicht verändert, oder der Anstieg liegt innerhalb des Rauschbands, das die Arithmetik oben festgelegt hat. Dann das Publikum: Die Bekanntheit ist vielleicht unter Menschen gestiegen, die nie kaufen werden. Dann das Briefing: Die Kampagne hat vielleicht eine andere Aufgabe erfüllt als die, die gemessen wurde.

Nichts davon macht die Arbeit wertlos. Die Bekanntheit allein kann Ihnen nicht sagen, welchen der Fälle Sie vor sich haben, also fragen Sie, welche Erklärung angesichts der Ausspielung der Kampagne am plausibelsten ist, und prüfen Sie dann diese.

Die schlichteste Erklärung, und die, die niemand in der Besprechung ausspricht: Die erste Messung war möglicherweise fehlerhaft.

Wenn eine Umfrage in diesem Quartal nicht finanzierbar ist, sind Sie nicht ohne Optionen. Die Bekanntheit sitzt spät im Stufenmodell der Bekanntheit und seiner Abbruchregel, und diese Seite behandelt, worauf Sie achten können, wenn eine Welle nicht infrage kommt.

Fazit

Eine Bekanntheitszahl ist verteidigbar, wenn vier Dinge dahinter aufgeschrieben sind: die Stichprobengröße und was sie auflösen kann, die Fragenreihenfolge, das Intervall zwischen Exposition und Interview und das Publikum, aus dem sie stammt.

Wenn Sie eine Studie beauftragen statt eine zu prüfen, schützen Sie drei Sätze. Nennen Sie die Bewegung, die Sie erkennen wollen, nennen Sie die Stichprobe, die sie sehen kann, und nennen Sie, was Sie berichten, wenn sie nicht auftritt. Studien scheitern am häufigsten am dritten Satz, weil ihn niemand aufgeschrieben hat.

Wenn eine Welle landet, stellen Sie sie neben etwas, das sich schneller bewegt. Die Marketing-Analytics-Funktion von Allable legt Such- und Sitedaten in eine Ansicht, damit sich die Woche, in der Ihr Bekanntheitswert ankam, gegen das lesen lässt, was die Markennachfrage tatsächlich getan hat.

Ihre nächste Studie wird eine Zahl liefern. Die einzige Frage ist, ob Sie sie sechs Monate später noch verteidigen können, wenn jemand fragt, was ohne die Kampagne passiert wäre.