Was ist ein Inkrementalitätstest

Die Attribution verteilt Conversions auf die Kontaktpunkte, die ein Nutzer vor dem Kauf berührt hat. Sie beantwortet eine beschreibende Frage: Wo entlang lief dieser Verkauf. Die Inkrementalität beantwortet eine andere und deutlich unangenehmere: Wäre dieser Verkauf auch ohne die Anzeige zustande gekommen?

Ein Kunde, der die Marke bereits kannte, der ohnehin kaufen wollte und der unterwegs auf eine Anzeige klickte, erscheint in den Berichten als bezahlte Conversion. Das Budget schreibt sich ein Ergebnis gut, das es schon vor der Ausgabe gab. Der inkrementelle Effekt ist nur der Teil des Ergebnisses, der existiert, weil investiert wurde.

Diesen Teil zu messen verlangt einen Vergleich mit einem Szenario, das sich nicht beobachten lässt: was ohne die Kampagne passiert wäre. Da dieses Szenario in den Daten nicht vorkommt, muss man es herstellen. Man stellt eine vergleichbare Gruppe frei, der die Anzeigen nicht ausgespielt werden, und ihr Verhalten dient als Referenz. Die Differenz zwischen beiden Gruppen ist der inkrementelle Effekt.

Daher der Name. Gemessen wird nicht, wie viel Aktivität rund um die Anzeige stattfindet, sondern wie viel Aktivität die Anzeige hinzufügt.

Jedes Design braucht zweierlei: eine Gruppe, die die Werbung sieht, und eine vergleichbare, die sie nicht sieht, dazu eine zufällige Zuteilung, die entscheidet, wer auf welcher Seite landet.

Das Zurückhalten eines Teils der Zielgruppe ist das direkteste Design. Die Plattform stellt zufällig einen Teil der infrage kommenden Nutzer frei und blendet ihnen die Anzeigen der Kampagne aus. Die benutzerdefinierten Experimente in Google Ads arbeiten nach dieser Logik: Die Aufteilung per Cookie weist jeden Nutzer der Originalkampagne oder der Testkampagne zu und stellt sicher, dass er nur eine von beiden sieht.

Das geografische Experiment ersetzt den Nutzer durch das Gebiet. Man bildet Paare aus Regionen mit ähnlichem Verkaufsverlauf, lost aus, welche der beiden die Investition behält und welche sie senkt oder abschaltet, und vergleicht die Gesamtumsätze beider Blöcke. Dieses Design hängt weder an Cookies noch an Kennungen, übersteht also den Verlust von Nutzerdaten, und es ist der Normalfall bei Kanälen, in denen sich der Klick nicht nachverfolgen lässt.

Das periodenweise Abschalten wechselt im selben Gebiet zwischen Wochen mit Investition und Wochen ohne. Es ist das billigste und zugleich das anfälligste Design, weil sich jede Saisonalität und jede Bewegung des Wettbewerbs mit dem Effekt vermischt, den man messen will.

Heraus kommt eine Differenz zwischen den Gruppen: zusätzliche Conversions, zusätzlicher Umsatz oder, geteilt durch die Investition, ein inkrementeller Return. Zu dieser Zahl gehört immer ein Konfidenzintervall, und dieses Intervall zählt genauso viel wie der Wert in der Mitte.

Fast alle Budgetentscheidungen fallen auf Basis von Attributionszahlen, und die Attribution unterscheidet nicht zwischen einen Verkauf auslösen und bei ihm dabei sein. Ein Kanal kann hervorragend aussehen, schlicht weil er im letzten Abschnitt der Reise auftaucht, wenn die Kaufabsicht bereits feststand.

Markensuchkampagnen sind der Fall, in dem dieser Abstand am deutlichsten wird. Wer den Firmennamen sucht, hat sein Ziel schon gewählt. Die Anzeige stellt sich vor ein organisches Ergebnis, das denselben Klick bekommen hätte, und der Bericht verzeichnet eine bezahlte Conversion mit beneidenswerten Akquisitionskosten. Ein Experiment, das diese Kampagnen in einer Gruppe von Gebieten abschaltet, zeigt, wie viel von dieser Nachfrage lediglich vom kostenlosen in den bezahlten Kanal wandert. Es gibt veröffentlichte Experimente, in denen Marken-Keywords keinen messbaren kurzfristigen Nutzen zeigten, wobei das Ergebnis von der Branche, von der Bekanntheit der Marke und davon abhängt, ob ein Wettbewerber auf diesen Namen bietet.

Deshalb fällt das Ergebnis eines Inkrementalitätstests fast immer niedriger aus als das jedes Attributionsmodells. Es ist nicht so, dass das Experiment den Kanal bestraft. Die Attribution hat nie versprochen, Kausalität zu messen.

• Vor dem Start festlegen, welcher Unterschied für das Geschäft relevant wäre, und ausrechnen, wie lange der Test laufen muss, um ihn überhaupt erkennen zu können.
• Gebiete oder Gruppen nach ihrem Verkaufsverlauf paaren, nicht nach Einwohnerzahl.
• Die Kampagne während des Experiments in Ruhe lassen: keine Änderungen an Geboten, Creatives oder Budgets in einem der beiden Arme.
• Das Ergebnis in der Geschäftsquelle messen, also im ERP oder im CRM, und nicht in der Plattform, die gerade bewertet wird.
• Das Konfidenzintervall gemeinsam mit dem Ergebnis ausweisen und akzeptieren, dass ein Intervall, das die Null überschreitet, eine legitime Antwort ist.
• Den Test in Abständen wiederholen, denn die Inkrementalität eines Kanals verändert sich mit der Bekanntheit der Marke und mit dem Druck des Wettbewerbs.

• Eine Kampagne eine Woche lang abschalten, sehen, dass der Umsatz nicht fällt, und die Sache für geklärt halten. Ohne Kontrollgruppe gibt es nichts, womit sich vergleichen ließe.
• Den Test abbrechen, sobald das Ergebnis gefällt. Täglich hineinschauen und am ersten günstigen Tag stoppen macht aus Rauschen eine Schlussfolgerung.
• Ein zu kurzes Zeitfenster für lange Kaufzyklen wählen, sodass der späte Effekt aus der Messung herausfällt.
• Die Kontrollgruppe mit Remarketing, Kampagnen aus anderen Kanälen oder Mailings verunreinigen, die diese Nutzer sehr wohl erreichen.
• Das Ergebnis auf ein anderes Land, eine andere Saison oder ein anderes Investitionsniveau übertragen, ohne erneut zu messen.