imbahub
Meny +
SV
Prata med oss
IMBAHUB / Kunskap & guider

Kontrollera att försöket mäter den variant som faktiskt visas.

En variantetikett i ett event räcker inte om skärmen visar något annat. Prova kontinuiteten från tilldelning till innehåll och definierat utfall. Den här guiden gäller teknisk datakvalitet i försöket, inte hur man väljer en statistisk vinnare.

Tre observationer måste kunna jämföras
  1. Vald variant

    Vilken version tilldelades i just detta försök?

  2. Visad variant

    Vilket innehåll levererades faktiskt?

  3. Observerat utfall

    Vilken definierad handling kopplades till exponeringen?

En korrekt händelseetikett kan fortfarande beskriva fel innehåll.

Förhandsvisningslänken visar B och skickar vanliga konverteringar. Är interntrafiken undantagen?

Inte utan bevis i mottagningen. Prova hela insamlingsvägen och separera testobservationerna enligt planen.

Spara försöksversion och förväntad tilldelning

Notera försöks-ID, variantversioner, tilldelningsregel och beslutade undantag. Använd ett isolerat testläge med fiktiva händelser. Förhandsvisningsvägar ska vara tydligt skilda från en verklig deltagares väg.

Ett fiktivt exempel jämför A och B av samma arbetsprocessförklaring. B har fått en ny textversion efter första testet. Den gamla och nya B får inte blandas som om innehållet vore identiskt utan en beslutad versionsregel.

Jämför faktiskt innehåll med händelsen

Tvinga fram respektive variant i det avtalade testläget och kontrollera både innehåll och registrering. Bestäm när exponering får räknas. Ett startat skript eller tilldelat ID kan inträffa innan det relevanta innehållet syns.

Pröva omladdning, direktlänk och bakåtnavigering där lösningen använder dessa vägar. Granska om cache återanvänder rätt svar och om olika delar av sidan kan få olika varianter. Spara bevis för visad version, inte bara ett eventnamn.

ProvRiskFörväntat bevis
Tilldelad B, cache aktivA levereras men B registrerasInnehåll och exponeringssignal överensstämmer
ÅterbesökOavsiktligt byte mellan varianterBeslutad kontinuitetsregel följs
FörhandsvisningIntern granskning hamnar i försöketTestväg är tydligt identifierad och hanterad
VersionsbyteTvå olika B blandasVersion kan skiljas enligt analysbeslut
Stoppat försökGammal tilldelning lever vidareAvtalat slutläge visas utan testutlösning

Pröva saknad lagring och interna vägar

Testa ett nytt tillstånd utan tidigare val och ett där avtalad lagring inte är tillgänglig. Förväntan ska följa era datakrav och försöksmodell. Lova inte att samma person alltid kan kännas igen över enheter eller blockerade klienter.

Öppna länken för redaktionell granskning och kontrollera om dess händelser separeras enligt planen. En queryparameter med namnet test räcker inte om en annan tagg ändå samlar samma utfall. Granska de verkliga mottagarvägarna och undvik riktiga leads i provet.

Dokumentera avvikelsen före resultatbedömning

När registrerad och visad variant skiljer sig: identifiera berörd version, väg och tidsperiod. Rätta en verifierad orsak och kör om både positiva kontrollfall och undantag. Ändra inte etiketten i rapporten bara för att få ett snyggare resultat.

Protokollet anger variant, faktisk visning, exponeringsvillkor, utfall och felgräns. Bestäm separat hur påverkade observationer ska hanteras. Att tekniken därefter fungerar säger inte om tidigare data räcker eller om förändringen har en säker affärseffekt.

Källor och fördjupning

Bra att veta

Kan intern testtrafik påverka försöket?

Ja, om den samlas in som vanlig deltagartrafik. Avgränsa och prova den faktiska insamlingsvägen.

Kan gamla data behållas efter en variantändring?

Det kräver ett dokumenterat analysbeslut och identifierbar version. Anta inte att två olika innehållsversioner är samma behandling.

IMBAHUB

Vad vill du göra möjligt?

Välj ett prov med tilldelning, skärminnehåll och mätutfall och jämför alla tre.

Prata med oss
Autentiskt produktgränssnitt på svenska. Separat presentationsmiljö med fiktiva demodata.

Autentiskt produktgränssnitt på svenska. Separat presentationsmiljö med fiktiva demodata.