Kan ik een A/B-test doen van een campagne?

Wil je een A/B-test doen om twee versies van een campagne te vergelijken om te weten welke campagne een hogere conversie heeft? Bij Laposta hebben we daarvoor (nog) geen standaard functionaliteit, maar je kunt dit eventueel wel zelf inrichten. Daarvoor maak je extra velden aan in je relatielijst, maak je gebruik van segmenten en verstuur je zelf de best converterende campagne naar het grootste gedeelte van je lijst. 

Wat is een A/B-test?

Met een A/B-test vergelijk je de resultaten van een versie A met de resultaten van een versie B van je campagne bij een klein gedeelte van je relatielijst, om vervolgens de campagne met de beste resultaten te verzenden naar het resterende gedeelte van die relatielijst. Je kunt op die manier bijvoorbeeld een steekproef doen bij 20 procent van je relatielijst om te bepalen welke onderwerpregel zorgt voor de hoogste openratio en vervolgens die 'winnende' versie versturen naar de overige 80% van je relatielijst.

Je snapt dat dit alleen zinvol en betrouwbaar kan zijn als je een grote relatielijst hebt, maar natuurlijk kun je eens een test doen om te ontdekken of je grote verschillen ziet in de resultaten. Hoewel het verzendtijdstip kan zorgen voor een verschil in de openratio, kun je prima een A/B-test inrichten om te zien of jouw relatielijst ineens beter reageert als het onderwerp anders is, of als de 'call-to-action' (link naar een relevante actie die jouw relatie in je nieuwsbrief zou moeten doen) anders wordt verwoord of wordt vormgegeven. 

Een A/B-test doen met behulp van segmenten

Je kunt zelf een A/B-test instellen oor te werken met segmenten. In dit voorbeeld werken we met een testgroep A en B, waarin allebei 25% van de relaties worden geplaatst, waarna de overige 50% de versie met het beste resultaat ontvangt. 

1. De relatielijst

Je begint bij je relatielijst met een representatief deel van die lijst selecteren voor de test en aan te merken als ontvanger van versie A of B. 

1. Exporteer je relatielijst naar Excel en open dat bestand in Excel (of open dit Excel-bestand als je voor deze test nog een nieuwe lijst wil importeren).
2. Voeg een kolom 'versie' toe en plaats bij een relevant percentage relaties daar een 'A' of een 'B'. Laat bij de overige relaties dit veld leeg.
   Tip: zorg dat minimaal 10% van jouw relatiebestand bij dit veld een 'A' heeft en een identiek percentage relaties een 'B'.
3. Sla je (aangepaste) relatielijst op en importeer dit bestand in je Laposta-account. Maak bij die import een nieuw meerkeuzeveld 'versie' aan. Bekijk hiervoor eventueel: hoe importeer ik een groot relatiebestand?.

2. Segmenten maken in je relatielijst voor de A/B-test

Je gaat je complete lijst nu opdelen in segmenten om straks te kunnen testen.

1. Ga naar je relatielijst en klik op 'Segmenteren'.
2. Klik op 'Maak een nieuw segment' en kies vervolgens voor 'relatiegegevens'.
3. Selecteer het veld 'Versie' en geef aan dat dit gelijk moet zijn aan A. Sla dit segment op als 'Versie A':
   

   

4. Maak op dezelfde manier een segment voor versie B.

3. Twee campagnes om te testen

Je hebt een campagne waarbij je een specifiek verschil wil testen. Je gaat die campagne nu dupliceren en aanpassen voor de test. In dit voorbeeld gaan we uit van een A/B-test om een ander onderwerp te testen. 

1. Maak een campagne. Geef in Stap 1 bij de 'werknaam' (voor eigen gebruik) aan dat dit versie A is. Selecteer in Stap 2 bij de ontvangers alleen het segment 'Versie A'.
2. Ben je tevreden over deze campagne, verzend deze dan nog niet, maar ga weer naar je pagina met alle campagnes.
3. Maak een kopie van versie A en maak hiervan een versie B (in de werknaam), door (in dit voorbeeld) het onderwerp van deze versie aan te passen. Selecteer in Stap 2 bij de ontvangers alleen het segment 'Versie B'.
4. Als je over beide campagnes tevreden bent, dan bepaal je in Stap 6 (Bepaal verzenddatum) het verzendmoment en plaats je beide campagnes in de planner. Kies hier bij voorkeur voor exact dezelfde datum en dezelfde tijd, zodat je alleen het verschil test dat je met de A/B-test wil onderzoeken.

4. En de winnaar is...

Wacht een representatieve periode op de uitslag van de test. Hou hiervoor in ieder geval 2 uur aan om je relaties in de twee segmenten de mogelijkheid en tijd te bieden om je nieuwsbrief te openen. Vervolgens maak je een segment om te beoordelen welke versie de winnende versie van je test is:

1. Ga naar je relatielijst en klik op 'Segmenteren'. 
2. Klik op 'Maak een nieuw segment' en klik vervolgens op 'campagneresultaten'.
3. Selecteer de relaties die: B.6 - een bepaalde campagne hebben geopend. Selecteer vervolgens die bepaalde campagne: Versie A.
4. Sla dit segment op als 'heeft A geopend'.
5. Doorloop bovenstaande stappen ook om het segment te maken dat versie B heeft geopend.
6. Kijk nu op de pagina Segmenteren en zie welk segment groter is: als de groep 'heeft A geopend' groter is dan 'heeft B geopend', dan weet je dat versie A vaker is geopend dan versie B. Op deze manier bepaal je de 'winnaar' van je A/B-test.

5. De beste versie voor de rest

 Nu je weet welke versie een beter resultaat geeft, ga je die versie verzenden naar de rest van je lijst. 

1. Maak eerst een nieuw segment aan in je lijst waarin je de ontvangers plaatst die nog geen versie A of B hebben ontvangen. 
   1. Ga hiervoor naar je relatielijst, klik op 'Segmenteren', 'Maak een nieuw segment' en kies voor 'relatiegegevens'. 
   2. Selecteer het veld 'Versie' en selecteer daarnaast de optie 'Is leeg'. Sla dit segment op als 'Overige ontvangers'.
2. Ga naar de pagina Campagnes en kopieer de 'winnende versie'. Selecteer in Stap 2 bij de ontvangers alleen het segment 'Overige ontvangers'. Je kunt deze nieuwsbrief direct versturen in Stap 6.