Udvikling med A/B og eksperimenter: det er mere end test af det grafiske

I sidste uge gav jeg et oplæg om A/B test og eksperimenter, som bruges af organisationer, der arbejder fokuseret med ideudvikling og modning. Det gav overraskende meget feedback og en god diskussion efterfølgende. Emnet er en del af det arbejde jeg har lavet med tidlig test (shift-left til dem,  der er vilde med buzz-words). Her kommer et uddrag af mine tanker om dette

Det er jo ikke noget nyt at ideen skal være god, før der skal satses mange kroner og ører i implementering. Forretningsudviklere, produkt-ejere/managere og lignende har netop fokus på at sikre gode ideer i backloggen. Alligevel, når man kigger på mange projekter, ikke mindst de offentlige, er der en del som går galt, da man ikke kan finde ud af at lave det rigtige produkt (eller kravspecifikation, om man vil). Der tales forbi, misforståelser og antagelser bliver til krav,  som bliver tolket forskelligt eller viser sig at være umulige at opfylde. Der er eksempler som Skats EFI, Rejsekortet i sin spæde start og ikke mindst politiets udskældte sagssystem, der siges at være fejlet af disse årsager. Så hvorfor skal det være så svært? 

Jeg tænkte primært på 2 ting, da jeg forberedt oplægget:

  • Det er ofte svært at definere de egentlige problemer, man gerne vil løse. Det er nemmere at kaste sig ud i den løsning, der allerede tegner sig i hovedet. 
  • Det er almindeligt at tolke en formulering på flere måder, alt efter hvem man er. “En funktion til indberetning af svindel” kan tolkes både som en Web Service og som et kontor med personale til kundeservice.

Så det at have en idé i sig selv er ikke nok, for det skal også være en god løsning. At finde frem til en god løsning er jo det man beskæftiger sig med i projekt-teams. Disse kan arbejde på hvidt forskellige måder og dette indlæg handler om dem, der ikke antager de har løsningen fra dag et. Det handler også om at man kan teste andet end software op imod et sæt af specifikationer.

Ideudvikling med eksperimenter

Når projektet starter, så er der oftest meget lidt indsigt i og forståelse af krav. I BDD litteraturen kan man læse om “Level of ignorance”, som er ret høj i begyndelsen. Man ved endnu ikke hvad man ikke ved.

Så måske er det ret naivt at tro ideerne til den rigtige løsning viser sig der. Det er kernen i den agile tankegang at man itererer, og bruger feedback loop til at vurdere om de  løsninger (baseret på ideer) har væsentlig forretningsmæssige værdi. Men hvad hvis vi ikke var i stand til at få den rette feedback lige med det samme? Sprint demo til 1 eller nogle få personer er jo ikke nogen garanti for at løsningen vil virke i praksis – under antagelsen om at en eller få personer kan nemmere tage fejl end mange. Ideudvikling er modning af ideer igennem feedback. Og siden brugere oftest ikke selv ved hvad de har brug for, er der andre måder at få feedback på end at spørge dem direkte. Et af dem er eksperimenter som A/B test.

what-ab-test

Generelt er ideen med eksperimenter er at konstruere en situation som skulle lede til et bestemt udfald (conversion, som det hedder i fagsproget). Et godt eksempel fra marketingsindustrien: hvis produktet ser nyere, friskere i farver og måske fremstår mere skarpt i designet er der flere som vil købe det. Dette er faktisk en tese – et postulat. Eksperimentet går ud på at bevise tesen er sand eller falsk ved at føre det ud i livet: man producerer en test-variant, og halvdelen af butikker sælger den nye variant så man kan følge med hvor godt den klarer sig.

På samme måde kan A/B test bruges til at teste produkter og features, og ikke kun farven på knapper og afstanden mellem inputfelter. Har man et produkt i forvejen, kan man eksperimentere med nye eller alternative funktioner, og måske også nye måder at arbejde på og interagere med systemet. Det kan der være rigtigt gode penge i!

Der findes flere værktøjer som lover fantastiske produkter og store besparelser, ved kun at udvikle de features, som rent faktisk fungerer hos brugeren. Dette kan være en sandhed med nogle forbehold – eksperimentet bør ikke være misvisende eller for dyr at konstruere.

Validiteten af eksperimenter

Når jeg skriver misvisende eksperiment, så tænker jeg primært på en situation hvor eksperimentets hypotese er opstillet forkert, ufuldstændigt eller hvor målingen af forventede resultater er meget upræcis. For eksempel kan måling være påvirket af andre faktorer end dem man havde udtænkt i sin hypotese.

Forestil dig en Web shop som farver alle knapperne gule op til jul. Man måler trafikken og der viser sig at være en stigning i køb på over 200%. Er det på grund af julegaveræs eller den gule knap flere købte mere?

I andre situationer kan der være faktorer som vi ikke opdager lige som nemt som juletiden og for at håndtere dette bruges der kontrol grupper. Netop dette er grundlaget for en A/B test, som ville jo fange tendensen i begge variationer og derfor kunne siges at være en mere gennemskuelig måde at eksperimentere på.

Det bør ikke være dyrt

Lige som marketing-materialet fra A/B test tools siger, er det billige i længden at investere i god brugeroplevelse. Man kunne lige så sige at det er billige at investere i gode ideer – og på sigt kan kontinuerlig investering i innovation betyde at man kommer på forkant med sine konkurrenter. Det er lige som med Apple der var helt rolige dengang Microsofts pendant til iPod kom på gaden – det var et bedre produkt her og nu, men de havde troen på at deres satsning på innovation ville vinde i længden. Det er altså fremtidstænktende og innovationsfokuserede firmaer som typisk går all-in på eksperimenter. Kigger man på de større firmaer, er det ikke uden grund der er investeret en del i R&D afdelingen.

hqdefault

Det at bygge og gennemføre en række gode og valide eksperimenter kan tage tid, og måske en hel del ressourcer og måske være dyrere end at lave 1 version af produktet man kunne satse på.  Hele humlen er at have stadighed, nerver og måske indsigt at blive ved, selv om ikke alle ideer er lige gode. Det vigtigste er at få gode ideer kan være en million gange mere værd end 1000 dårlige. Dette i min verden er den bedste tidlige test man kan udføre.

Heldigvis er der også gode erfaringer med at eksperimentere med ideer uden at disse er meget omkostningsfulde. Det må være emnet til et af de kommende blogs..

Hej så længe 🙂

Reklamer

Skriv et svar

Udfyld dine oplysninger nedenfor eller klik på et ikon for at logge ind:

WordPress.com Logo

Du kommenterer med din WordPress.com konto. Log Out /  Skift )

Google+ photo

Du kommenterer med din Google+ konto. Log Out /  Skift )

Twitter picture

Du kommenterer med din Twitter konto. Log Out /  Skift )

Facebook photo

Du kommenterer med din Facebook konto. Log Out /  Skift )

Connecting to %s