Laufende Newsletter-Optimierung: Klasse statt Masse.

Vermutlich geht es dir, wie es Jasmin und den Kollegen aus unserem Marketing-Team auch geht: Das Jahr 2019 ist frisch, die Jahresziele sind geschrieben. Mittelpunkt der Planung wie in den Jahren zuvor: der Newsletter. Die gesetzten Ziele sind sportlich. Entsprechend dachte ich mir, dass ich im Vorfeld einen Blick auf die Statistiken aus Mailchimp werfe. Meine Überlegungen und Erkenntnisse werde ich hier im Blog mit dir teilen. Das gibt dir Erkenntnisse an die Hand, auf welche Metriken du achten solltest. Die Größe deines Verteilers gehört nicht dazu.

Einen ersten Schritt zur Optimierung unseres Newsletters haben wir 2018 getan. Im Mai haben wir uns von gut 1.000 Abonnenten getrennt. Wer nicht aktiv war, der ist nach kurzer Info dann rausgeflogen. Details dazu kannst du in diesem Artikel lesen. Es liegt nahe, an dieser Stelle wieder anzusetzen. Mein erster Blick ging also auf die inaktiven Nutzer. Nach der ersten Löschung hatten wir keinen festen Plan gemacht, diese regelmäßig zu wiederholen. Im Rückblick hätte ich wohl gedacht, dass es für 1-2 Jahre reicht mit Frühjahrsputz. Ein Blick in die Statistiken zeigte: Das ist eine Fehleinschätzung gewesen.

Segment inaktiver Nutzer, Quelle: Mailchimp

Das Segment, dass wir 2018 genutzt haben, gibt es natürlich noch in Mailchimp. Es umfasst aktuell wieder 364 Nutzer. Das sind bei unseren 1.320 Empfängern schon wieder 27,5%. Sollen wir die wirklich schon wieder bereinigen? 2018 war ich noch unsicher, 2019 sage ich „Ja, unbedingt!“. Auch wenn ich weiß, dass ich einen Messfehler da drin habe aufgrund unterdrückter Messpixel. Die werden sich dann schon wieder melden, bevor wir sie entfernen.

Entwicklung der Newsletter Empfänger, Quelle: Mailchimp

Verteiler-Größe ist nicht alles.

Neben dem Artikel im Blog gab es 2018 auch einen kurzen Podcast dazu, wie schwer es mir gefallen war, den Löschprozess loszutreten. Es fühlte sich komisch an, sich von 1.000 lange erarbeiteten Adressen zu trennen. Ein Fall von Verlust-Ängsten, der absolut nicht rational ist. Aber eine Darstellung wie sieh hier zu sehen ist, muss der Kopf auch erstmal rational erfassen. Grundsätzlich greift da schon eine Mischung aus Verlust, Verzicht und der Angst, was zu verpassen. 

Was wirklich hilft, Ziele zu erreichen.

Wir haben sportliche Ziele und die werden wir nicht unbedingt mit einem großen Verteiler voller Karteileichen erreichen. Wir wollen mehr über unsere Abonnenten erfahren. Dafür brauchen wir Messpunkte. Die Basis dafür sind Öffnungen und Klicks, je aktiver unsere Abonnenten sind, desto besser. So einfach ist es. Und das hat sich bei mir im Kopf klar verankert. Mit ein wenig Stolz stelle ich also fest, dass ich hier meine Irrationalität besiegt habe. Die Gründe dafür teile ich gerne mit dir.

Auswirkungen der Bereinigung des Verteilers auf die Adressqualität.

Nach der Bereinigung gab es die logische Entwicklung. Fast schon eine selbsterfüllende Prophezeiung: Die Öffnungsrate hat sich massiv verbessert. Das konnte ja gar nicht anders sein, denn wir haben die permanenten Nicht-Öffner entfernt. Von den irgendwas bei 25%, die wir in den Jahren zuvor hatten, ging es steil nach oben. Wie du auf der Übersicht sehen kannst, schnellte die Öffnungsrate auf über 50% nach oben. Dieser Maximalwert ist ein absoluter Ausreißer und lag auf keinem Fall allein an der Bereinigung. Der Betreff „Darum löschen wir 1.000 Newsletter Abonnenten“ war drei Wochen vor der DSGVO extrem aufmerksamkeitsstark. Danach sank die Öffnungsrate wieder. Mit vergleichbaren Schwankungen läuft sie auf deutlich höherem Niveau weiter. Beim Blick auf die Kurve erahne ich allerdings wieder einen Abwärtstrend.  

Öffnungs- und Klickraten im Zeitverlauf, Quelle: Mailchimp

Dazu bereinige ich die Daten aus dieser Mailchimp Übersicht im folgenden, denn der Mai Newsletter war ein definitiver Ausreißer mit seinen 55% Öffnungsrate. Lediglich unser allererster Newsletter Anfang 2011 hatte eine bessere Öffnungsrate. Der ging allerdings auch nur an 15 Leute und die kannten wir alle persönlich.

Detail-Analyse: Trend der Öffnungsrate seit der Bereinigung.

Statt sich auf den Erfolgen auszuruhen, soll es weitergehen mit der Optimierung. Entsprechend habe ich etwas genauer in die Entwicklung der letzten 9 Monate geschaut. Ist die Qualität der Adressen weiterhin gut oder nehmen die Öffnungen wieder ab? Da ich mich aktuell viel mit Python als Werkzeug für Daten-Analysen beschäftige, war das ein guter Anwendungsfall zum Üben. Statt Schrubben in Excel, gab es also eine Analyse via Python. Und so sieht der Vergleich vorher und nachher aus.

Erster Schritt war die Trennung der 192 Newsletter in Messpunkte vor und nach der Optimierung im Mai 2019. Werfen wir einen Blick auf die Mittelwerte und die Fünf-Zahlen-Statistik aus Minimum, Q25, Median, Q75 und Maximum, dann zeigt sich klar, wie sich die Qualität des Verteilers verbessert hat.

Der Verteiler im vorher/nachher Vergleich.

Vor der Optimierung hatte der Verteiler eine durchschnittliche Öffnungsrate von 24,7%. Das ist absolut okay, wenn man Studien für den deutschen Markt heranzieht. Die berichten dann immer so von  20 bis 30% Öffnungsrate. Und auch der durchschnittliche Seminarteilnehmer fühlt sich erfolgreich, wenn er von solchen Öffnungsraten berichtet. Besser wurde es allerdings durch die Bereinigung. Mit einer Öffnungsrate von 37% lagen wir gute 12 Prozentpunkte über dem bisherigen Schnitt.

Werfen ihr einen Blick auf die Quartile, also die oberen 25%, die unteren 25% und die daraus resultierende Mittellage, in der 50% der Werte liegen. Die kann man sich in einem Boxplot. (Falls du eine Auffrischung zum Thema Boxplot brauchst, die findest du unter anderem auf Wikipedia.) 

Boxplots für die Öffnungsraten „Gesamte Zeit“, „Vor der Optimierung“. „Nach der Optimierung“, eigene Darstellung auf Basis Mailchimp Daten

Die Kurzfassung ist: jede Box startet bei den 25% der Newsletter mit der niedrigsten Öffnungsrate und endet bei den 25% der Newsletter mit der höchsten Öffnungsrate. Insgesamt also ein höheres Niveau der Öffnungen. Nicht nur im Mittelwert (der für Ausreißer wie unsere 55% Öffnungsrate anfällig ist), sondern auch bei der Betrachtung des Medians und der Quartile.

Vor der Optimierung  schaffte nur das erfolgreichste Viertel eine Öffnungsrate von  26,8% oder mehr. Im optimierten Verteiler liegt die niedrigste Öffnungsrate bei 31,8%. Wir sind also nicht nur im Schnitt deutlich besser geworden. Die Newsletter, die nicht so stark geöffnet werden, funktionieren ebenfalls im Vergleich besser.

Aber werfen wir einen Blick auf den Trend seit Mai 2018. Da ergibt sich folgendes Bild: Ja, die 18 Newsletter von Mai 2019 bis Januar 2018 hatten bessere Öffnungsraten. Aber es sieht rückläufig aus. Noch deutlicher wird es, wenn wir nur die letzten 17 Newsletter anschauen. Den ersten nach der Löschung habe ich als Ausreißer entfernt. Ein klarer Abwärtstrend in der Öffnungsrate.

Eigene Darstellung auf Basis Mailchimp Daten

Das nächste Aufräumen kommt.

Fassen wir also zusammen. Mit dem ersten Schritt ist es nicht komplett getan. Die Löschung inaktiver Abonnenten sollte regelmäßig wiederholt werden. Falls du dir jetzt sowas denkst wie: Aber die fressen doch kein Brot, dann muss ich widersprechen. Weniger Abonnenten kosten in den meisten Tools auch weniger Geld. Außerdem müsste man für aussagekräftigere Analysen und Reports in aktive und passive Abonnenten trennen. Auch das kostet Zeit und somit Geld. Also bleibt es dabei: Alles raus, was wochenlang nicht öffnet. Wenn du  aus diesem ganzen Artikel eine Kernaussage mitnehmen willst, dann ist mein Vorschlag: Öffnungsraten zählen, Verteilergröße ist nur was fürs Ego.