Inkrementalität testen: Was Sie ohne Anbieter beweisen können

In Ihrem Konto läuft eine Kampagne, die noch nie abgeschaltet wurde. Sie meldet einen positiven Return, und niemand kann Ihnen sagen, wie dieser Monat ohne sie ausgesehen hätte.

Dieser fehlende Monat hat einen Preis. Eine Simulation, die ein Inkrementalitäts-Anbieter über 36 Millionen Marketing-Entscheidungen laufen ließ, ergab: Wer auf verrauschte Ergebnisse reagiert, steht in 38 Prozent der Fälle schlechter da als jemand, der gar nichts tut. Das ist die Zahl des Anbieters selbst und wird hier als solche gekennzeichnet. Das Rauschen ist struktureller Natur. Lewis und Rao fanden in einem Beitrag im Quarterly Journal of Economics über fünfundzwanzig große Feldexperimente und 2,8 Millionen US-Dollar Werbebudget, dass das mediane Konfidenzintervall beim Return on Investment über 100 Prozentpunkte breit war.

Kein Dashboard schließt eine Lücke von hundert Punkten. Inkrementalität ist der einzige Weg, der dafür gebaut ist, und drei Designs kommen ganz ohne Anbieter aus.

Was Inkrementalität wirklich misst

Jeder Test fragt, was passiert wäre, wenn diese Maßnahme nicht gelaufen wäre. Das beobachten Sie nie. Sie beobachten eine Welt, nämlich die, in der Sie das Geld ausgegeben haben, und schätzen die andere mit einem Konfidenzintervall dazu. Ist das Intervall breiter als der Effekt, den Sie finden wollten, hat der Test eine Zahl ohne Antwort produziert.

Die drei Designs, die Sie im eigenen Haus fahren können

Sie kosten unterschiedlich viel und sie beweisen nicht dieselbe Aussage.

Geo-Holdout, und wie viele Regionen Sie wirklich brauchen

Die Zahl, die Sie im Kopf behalten sollten, ist zehn. Nicht zehn Märkte. Zehn gematchte Paare, das heißt zwanzig Geos.

Der Beitrag zum Design des getrimmten Matchings, auf dem Googles Geo-Methodik aufbaut, nennt die Regel direkt: mit n als Zahl der Geo-Paare gilt "wir empfehlen n >= 10, da zu wenige Paare die Inferenz unzuverlässig machen können" (arXiv 2105.07060v2, Abschnitt 4.4). Der dort durchgerechnete Fall landet bei 24 Paaren, also 48 Geos, für einen zweiwöchigen Test mit 1.000.000 US-Dollar zurückgehaltenem Budget.

Der Grund ist Spillover. Derselbe Beitrag verlangt, dass jedes Geo groß genug ist, um von seinen Nachbarn einigermaßen isoliert zu sein, was "oft dazu führt, dass nur wenige Geos für das Experimentieren verfügbar sind". Menschen überqueren eine Grenze zum Einkaufen, und ein Ballungsraum verhält sich als eine Wirtschaft, auch wenn Ihre Tabelle ihn als vier behandelt. Verkleinern Sie die Zellen, um mehr zu bekommen, läuft die Werbewirkung in die Kontrollgruppe. Vergrößern Sie sie, gehen Ihnen die Zellen aus.

Deshalb ist ein Testmarkt gegen einen Kontrollmarkt kein Geo-Experiment. Es ist ein gematchter Marktvergleich, und die Methodik sagt, was der wert ist. Der Beitrag hält fest, dass Markt-Matching dieser Art "nur für nicht randomisierte Experimente gilt und nicht den Goldstandard für kausale Inferenz erfüllt". Vaver und Koehler formulieren es in Googles technischem Bericht zu Geo-Experimenten von der anderen Seite: Diese Methode "zieht ihre statistische Power aus der Zahl der verfügbaren Geos in der Analyse und ist deshalb für Situationen mit nur wenigen verfügbaren Geos nicht anwendbar (etwa bei gematchten Markttests)".

Die Zwei-Markt-Variante taucht in mehr als einem Leitfaden auf. Eine Kausalaussage trägt sie nicht.

Was Sie stattdessen fahren: die Zuweisung über die Paare randomisieren, drei Perioden einhalten aus Vortest, Intervention und Abkühlung, und die Zeitreihen auf Geo-Ebene auswerten. Google veröffentlicht die Methode als Open-Source-Paket für R namens GeoexperimentsResearch, und CausalImpact deckt den Fall des synthetischen Kontrollkollektivs ab. Ohne Lizenzkosten.

PSA, Ghost Ads und Ghost Bids

Drei Begriffe, die verwendet werden, als bedeuteten sie dasselbe. Sie halten unterschiedliche Dinge zurück.

Ein PSA liefert der Kontrollgruppe eine echte Platzhalter-Anzeige aus. Die Zielgruppe bekommt weiterhin eine bezahlte Impression, das Budget wird weiterhin ausgegeben, und der einzige Unterschied zwischen den Gruppen ist das Creative. Nützlich, um das Creative zu messen, nutzlos für die Entscheidung, ob ein Kanal Budget verdient, denn Sie haben beide Gruppen bezahlt.

Ein Ghost Ad protokolliert, was einem Nutzer in der Kontrollgruppe ausgeliefert worden wäre, ohne es auszuliefern. Die Plattform muss mitarbeiten, um diese kontrafaktische Impression zu protokollieren, und die Kontrollgruppe kostet nichts. Das ist das ökonomische Argument in dem Beitrag von Johnson, Lewis und Nubbemeyer dazu (Journal of Marketing Research, Dezember 2017). Ein Ghost Bid ist die Variante auf Auktionsebene.

Nichts davon ist eine Selbstbedienungseinstellung. Sie können Google Ads oder Meta öffnen und einen Ghost Bid nicht einschalten. Ghost Ads brauchen die Plattform, um eine Impression zu protokollieren, die sie bewusst nicht ausgeliefert hat, und keine der beiden Plattformen stellt das als Kontrolle bereit, die ein Werbetreibender umlegen kann. Sie bauen es oder Sie kaufen es.

Vorher/Nachher mit gematchter Kontrollgruppe

Dies ist das Design für den Fall, dass Sie nichts zurückhalten können. Eine Markenkampagne, eine Preisänderung, ein Launch ohne verfügbare Kontrolle. Vergleichen Sie die behandelte Einheit mit einer gematchten Kontrolle vorher und nachher, und die Differenz dieser beiden Differenzen ist Ihre Schätzung.

Differenz von Differenzen ruht auf einer Annahme: dass sich die beiden Einheiten ohne die Intervention gemeinsam bewegt hätten. Das ist in der Vorperiode prüfbar, und diese Prüfung ist der größte Teil der Arbeit. Wenn sie zwölf Monate lang innerhalb weniger Punkte zusammenliefen und nach der Änderung auseinandergehen, haben Sie etwas. Wenn sie sich schon vorher auseinanderentwickelt haben, haben Sie zwei Märkte, die nie vergleichbar waren.

Synthetische Kontrolle geht weiter, wenn viele Kandidaten da sind: Bilden Sie die gewichtete Kombination unbehandelter Einheiten, die die Vorperiode am besten reproduziert, und beobachten Sie dann die Abweichung. In der Identifikation bleibt es das schwächste der drei.

Die Rechnung, an der die meisten Tests scheitern

Für einen Holdout auf Nutzerebene kommt die Stichprobengröße aus einem Test auf zwei Anteile, derselben Formel, die hinter jedem A/B-Rechner steht.

n je Gruppe = ((z_alpha/2 + z_beta)² x (p1(1 - p1) + p2(1 - p2))) / (p1 - p2)²

Mit Alpha bei 0,05 zweiseitig ist das erste z 1,96. Mit Power bei 0,80 ist das zweite 0,842.

Rechnen Sie es für einen mittelgroßen Werbetreibenden durch. Basis-Conversion-Rate 2,0 Prozent, und Sie wollen eine relative Steigerung von 20 Prozent erkennen, also liegt die Testrate bei 2,4 Prozent.

Aufgerundet sind das 21.112 Conversions je Gruppe, also 42.224 über den Test hinweg.

Diese Zahl entscheidet Ihren Kalender. Bei einer Basisrate von 2,0 Prozent bedeutet sie rund 1.055.600 Sitzungen je Gruppe, also 2.111.200 über beide. Bei 100.000 gemeinsamen Sitzungen pro Tag ist das ein 21-Tage-Test. Bei 30.000 pro Tag sind es 70 Tage. Bei 10.000 pro Tag sind es 211 Tage, und das ist kein Test, sondern eine Geschäftsveränderung.

Halten Sie die Basisrate fest und halbieren Sie den Effekt, den Sie erkennen wollen.

Eine Halbierung des Effekts vervierfacht die Stichprobe ungefähr, und das erklärt, warum ein zweiwöchiger Test mit mäßigem Volumen nur eine enorme Steigerung erkennen kann. Wenn so ein Test nichts liefert, hat er nicht gezeigt, dass der Kanal nicht funktioniert. Er hat gezeigt, dass der Test nichts Kleineres hätte finden können als eine Zahl, die Ihnen ohnehin aufgefallen wäre.

Ein Nullergebnis aus einem unterdimensionierten Test ist nicht beruhigend, sondern nichtssagend.

Der Einwand, der die Berechnung oben ungültig macht

Lesen Sie das, bevor Sie einen Geo-Holdout mit dieser Formel dimensionieren. Tun Sie es nicht.

Die Rechnung geht davon aus, dass Nutzer die Randomisierungseinheit sind. In einem Geo-Holdout sind sie das nicht. Die Einheit ist die Region, also ist die effektive Stichprobengröße die Zahl der Regionen und nicht die Zahl der Menschen darin. Zwanzig Millionen Nutzer über zwanzig Geos sind eine effektive Stichprobe von zwanzig. Deshalb bewertet der Beitrag zum getrimmten Matching die Power in Paaren und verlangt eine kreuzvalidierte Power-Analyse auf Vorperiodendaten statt eines Rechners auf Nutzerebene.

Wenn Sie nur sechs Geos isolieren können, steht Ihnen dieses Design nicht zur Verfügung, und keine Statistiksoftware ändert daran etwas.

Wann Sie wirklich einen Anbieter brauchen

Vier Situationen machen den Kauf der Messung zur richtigen Entscheidung.

Sie brauchen eine kanalübergreifende Aussage und können keine zwanzig isolierten Geos aussetzen. Das Geo-Design ist das einzige, das jeden bezahlten Touchpoint gleichzeitig sieht, und es hängt an einer Marktzahl, die die meisten Werbetreibenden nicht haben.

Sie brauchen kontinuierliche Messung statt eines Tests zu einem Zeitpunkt. Ein Holdout beantwortet eine Frage zu einer Periode. Wenn Ihre Planung jeden Monat in jedem Kanal eine inkrementalitätsbereinigte Zahl braucht, kaufen Sie ein System und keinen Test.

Sie brauchen eine Aussage auf Nutzerebene in einem Maßstab, in dem die Holdouts der Plattformen für Sie geschlossen sind. Googles nutzerbasierter Conversion Lift ist am 07.10.2026 für Search und Performance Max in die Selbstbedienung geöffnet worden. Er verlangt mindestens 1.000 beobachtete Conversions, ein Mindestbudget von 5.000 US-Dollar und eine kompatible Conversion-Aktion, mit einem Holdout von 1 bis 50 Prozent. Die Meta-Variante verlangt 5.000 US-Dollar Kampagnenbudget und 500 Conversions bei einer Einstellung auf 1 Tag Klick, 7 Tage Klick oder 1 Tag Aufruf.

Google liefert außerdem ein Signal vor dem Start. Experiment Power ordnet das Setup in Bänder ein: Niedrig von 0 bis 49, Mittel von 50 bis 79 und Hoch von 80 bis 99, gebildet aus Volumen, Laufzeit, Traffic-Aufteilung und Kampagnenauswahl. Ein niedriges Band bedeutet: Trauen Sie einem signifikanten Ergebnis nicht, falls eines kommt.

Sie brauchen die Analyse gegenüber einem Vorstand oder einem Prüfer verteidigt und haben niemanden, der die Methodik fahren kann. Zu wissen, welcher Ausgabe Sie trauen können und was Sie sagen, wenn das Intervall breit zurückkommt, ist eine andere Aufgabe als das Paket laufen zu lassen.

Jetzt die andere Seite, und das ist der Absatz, den kein Anbieter für Sie schreibt. Wenn Sie über einen Kanal verkaufen, Ihre Volumina die Schwellen der Plattformen überschreiten und jemand in Ihrem Team die Rechnung oben reproduzieren kann, ist ein Messanbieter eine Ausgabe, die Sie noch nicht brauchen. Fahren Sie die Lift-Studie der Plattform auf Ihrem größten Kanal. Fahren Sie den Geo-Holdout, wenn Sie die Märkte haben. Stecken Sie den Rest in Media.

Wodurch sich das von Attribution unterscheidet

Attribution schreibt zu, was passiert ist. Ein Test stellt fest, was nicht passiert wäre. Andere Fragen, andere Zahlen, und deshalb werden Ihr Dashboard und Ihre Lift-Studie nie übereinstimmen, während beide richtig bleiben.

Attribution modelliert den Pfad, den ein konvertierender Nutzer genommen hat. Sie ist nützlich für die Zuteilung innerhalb eines Kanals und strukturell außerstande zu sagen, ob der Kanal überhaupt existieren sollte, denn die Nutzer, die sie bewertet, wären ohnehin ausgesetzt worden. Für diese Seite lohnt ein Blick in unseren Leitfaden zu Marketing-Attribution-Software, und Revenue Attribution erklärt, wie solche Modelle aufgebaut werden.

Ein Test fügt den Gegenfall hinzu. Er hält eine Gruppe oder eine Menge von Märkten heraus und misst die Differenz. Diese Differenz ist die einzige Zahl in Ihrem Stack, die aus einem Experiment stammt und nicht aus einer Annahme. Wenn Sie Plattformen für die Modellierungsseite auswählen, vergleicht ein Überblick über die beste Attributionssoftware die Optionen, und Google Ads A/B-Tests deckt die Mechanik ab, die dieser Arbeit am nächsten liegt.

Fangen Sie mit der Rechnung an, nicht mit dem Design. Wenn die Conversions, die Ihr Traffic in einem Monat liefern kann, unter dem liegen, was die Formel verlangt, rettet kein Holdout die Antwort, und der ehrliche Schritt ist, das Testbudget stattdessen in Media zu stecken. Welchen Ihrer Kanäle können Sie heute beziffern?