Die geheime Formel für A/B-Tests auf YouTube

Transkript

Dies ist die geheime Formel für YouTube A/B-Tests. Du kannst Stunden damit verbringen, perfekte Miniaturansichten zu erstellen, einen A/B-Test durchzuführen und zwei Wochen später gibt dir YouTube das schlechteste mögliche Ergebnis: kein Gewinner. Du magst vielleicht denken, dass die Funktion auf einer festen Anzahl von Impressionen oder einer festen Menge an Betrachtungszeit basiert, aber dem ist nicht so. YouTube verwendet einen statistischen Schwellenwert, und diese Gleichung entscheidet, wann dein Test endet.

Der wichtige Teil ist ein t-Test mit zwei Stichproben. Der Algorithmus berechnet die Anzahl der benötigten Impressionen, um zu 95 % sicher zu sein, dass eine Miniaturansicht tatsächlich besser ist als die andere. Zwei Variablen sind am wichtigsten: Varianz und Delta. Varianz ist das Chaos im Verhalten der Zuschauer. Wenn ein Zuschauer klickt und nach zehn Sekunden geht, während ein anderer zehn Minuten lang schaut, ist die Streuung hoch und der Algorithmus benötigt mehr Impressionen, um durch das Rauschen zu dringen.

Delta ist der Leistungsunterschied zwischen deinen Miniaturansichten. Da Delta in der Gleichung quadriert wird, führen kleine Unterschiede dazu, dass die erforderliche Anzahl von Impressionen in die Höhe schnellt. Wenn eine Miniaturansicht die andere deutlich um einen großen Abstand schlägt, kann YouTube schnell einen Gewinner ermitteln. Wenn der Unterschied winzig ist, kann der Test zehntausende oder sogar millionen Impressionen benötigen, bevor das Ergebnis statistisch klar wird.

Deshalb sollten kleine und mittelgroße Creator bei dreifachen Miniaturansicht-Tests vorsichtig sein. Ein A/B/C-Test verteilt den begrenzten Traffic auf drei Varianten und fügt auch eine strengere statistische Anforderung hinzu, da YouTube jede Miniaturansicht mit den anderen vergleichen muss. Wenn dein Video nicht natürlich viel Traffic erhält, kann das Testen von drei Varianten ein klares Ergebnis viel unwahrscheinlicher machen.

YouTube sagt, dass der Gewinner auf Basis der Betrachtungszeit pro Impression ermittelt wird. Das ist kein Blackbox: Es ist die Klickrate multipliziert mit der durchschnittlichen Betrachtungsdauer. Eine Clickbait-Miniaturansicht kann eine hohe CTR erreichen, aber wenn die Zuschauer sofort gehen, ist die Betrachtungszeit pro Impression schwach. Eine bescheidene CTR mit starker Retention kann viel besser abschneiden.

Wenn deine Tests oft ohne Gewinner enden, überprüfe die Analysen. Maximiere den visuellen Unterschied zwischen den Miniaturansichtskonzepten, teste nur zwei Miniaturansichten, wenn der erwartete Traffic niedrig ist, und optimiere sowohl für Klicks als auch für Retention. Sobald du die Mathematik verstehst, kannst du die Funktion viel effektiver nutzen.