Osebne lekcije iz let izkušenj 8 vzporednega testiranja

Translate Request has too much data
Parameter name: request
Translate Request has too much data
Parameter name: request

Prvi vzporedni test za prodajno optimizacijo spletne strani sem izvedel tam nekje leta 2002.

Takrat je ?ivljenje bilo ?e enostavno. Poznali smo le A/B teste. Nikakr?nega govora o multi-variatnem testiranju. Brez mo?nosti razmi?ljanja o vi?jih testnih metodah, kot so Taguchi, "full factorial", "fractional factorial" itd. Da niti ne omenim segmentacije rezultatov in podobnega.

Svet testiranja je danes povsem druga?en. Kompleksnej?i.

In predvsem, klasi?na pravila vzporednega testiranja v Sloveniji zaradi majhnosti trga niti veljajo ne!

Po teh cca. 8 letih je za mano na stotine testov (?e danes zjutraj sem preverjal rezultate trenutnih cca. 12 aktivnih testov) v ve? kot 20 dr?avah, vklju?no z ZDA in Anglijo.

Uspe?nih in manj uspe?nih. Predvsem pa tak?nih, kjer sem se sam in s svojo ekipo (predvsem Ur?o Podobnik in Polono ?eleznik) nau?il ogromno o tem, kaj pri testiranju zares deluje v praksi.

Da ne boste ponavljali mojih napak, si bomo danes pogledali najpomembnej?e lekcije, ki sem se jih v vseh teh letih nau?il.

Te lekcije bodo tokrat predvsem konceptualne narave. Pravzaprav, po pravici povedano, ta ?lanek skoraj bolj pi?em zase, kot dodaten opomnik za nadaljne testiranje. Zato tudi ne pri?akujte veliko podrobnosti o testiranju, temve? predvsem najpomembnej?e konceptualne izku?nje.

Najprej pa si za uvod poglejmo, kaj vzporedno testiranje sploh je, in zakaj je to eno najpomembnej?ih podro?ij internetnega tr?enja (?e vse to ?e veste, brez te?av presko?ite na tisto pravo v nadaljevanju).

Osnovni koncept vzporednega testiranja je enostaven (primer v nadaljevanju je primer A/B testiranja):

Koncept ?e najla?je spoznamo s pomo?jo prakti?nega primera.

Uporabimo kar mojega najljub?ega, ki je bil hkrati tudi moj prvi: test naslovne strani spletnega mesta za prodajo elektronske knjige "The Englightened Salesperson" [prev.: Razsvetljeni prodajalec], avtorjev Nikole Grubi?a in Borisa Veneta, v ZDA.

Cilj testa je bil poiskati najbolj?i mo?ni prodajni naslov naslovne strani, ki bo najve?ji dele? obiskovalcev prepri?al, da opravijo nakup knjige.Testirali smo 11 razli?nih prodajnih naslovov na naslovni strani.Preostali elementi naslovne strani se niso razlikovali v ni?emer.

Test je potekal tako:

Pripravili smo 11 razli?ic naslovne strani (za vsak prodajni naslov lastno naslovno stran)S posebnim spletnim orodjem (danes za to uporabite brezpla?ni Google Website Optimizer) smo posamezne verzije pod-strani prikazovali razli?nim obiskovalcemNa koncu smo primerjali stopnjo konverzije za obiskovalce posameznih razli?ic naslovne strani in ohranili tisto, ki je dosegla najbolj?i rezultat

Enostavno!

Ta primer in njegove rezultate smo si pravzaprav ?e ogledali v enem prej?njih ?lankov, kjer sem tudi razkril, da je zmagovalna verzija premagala najslab?o verzijo za kar 2-krat ve?.

Za vse tiste, ki vam je koncept testiranja nov, ?e nekaj dodatnih obrazlo?itev:

Testiranje vedno poteka isto?asno
Razli?nim obiskovalcem prikazujemo razli?ne verzije pod-strani, tako da obiskovalec #1 vidi verzijo A, obiskovalec #2 vidi verzijo B, obiskovalec #3 vidi verzijo C itd.Isti obiskovalec vedno, dokler traja test, vidi isto verzijo strani
Torej tudi ?e se obiskovalec #1 na spletno mesto vrne naslednji dan, bo ?e vedno videl tisto isto verzijo pod-strani, ki jo je videl prvi?Porazdeljevanje verzij strani mora biti enakomerno
Testiranje mora vedno potekati tako, da se razli?ne verzije strani enakomerno porazdeljujejo med obiskovalce. ?e bi npr. testirali samo 2 razli?ici, bi to pomenilo, da 1. obiskovalec vidi verzijo A, 2. verzijo B, 3. verzijo A, 4. verzijo B, 5. verzijo A in tako naprej ...

Teoreti?no prakti?no karkoli.

Vsebino razli?nih pod-strani (naslov, glavno besedilo, itd.)Strukturo pod-straniDesign pod-straniRazli?ne funkcionalnosti spletnega mestaProdajne proceseRazli?ne ponudbeItd.

Dobesedno karkoli, kar je na va?em spletnem mestu.

Ker je vzporedno testiranje edini kolikor toliko zanesljivi na?in, da ugotovimo, katera razli?ica pod-strani oz. posameznih elementov na pod-strani ima najugodnej?i vpliv na poslovni rezultat spletnega mesta.

Na tem mestu se ljudje obi?ajno vpra?ajo:

Zakaj isto?asno testirati ve? razli?ic strani? Mar ni isto, ?e pa? najprej objavimo eno razli?ico, in potem ?ez 1 teden ?e drugo (sekven?no testiranje)?
Nikakor ne!

Na stopnjo konverzije vpliva mno?ica faktorjev, od virov obiska, zunanjih faktorjev in sezone. Ti vplivi se spreminjajo iz tedna v teden in pomembno vplivajo na rezultat testa. Vzporedno testiranje te vplive, kolikor je pa? mogo?e, izlo?i.

Kaj pa testiranje uporabnosti (usability testing)? Ne dobimo na ta na?in bolj?ih rezultatov?

Tudi ne. Testiranje uporabnosti prina?a mnogo premajhne vzorce in poleg tega subjektov ne postavi v realno situacijo, kjer se morajo odlo?ati s svojimi denarnicami. Je vsekakor koristno, a nikakor dovolj, ?e je cilj konkretno pove?evanje konverzije posameznih pod-strani.

Kmalu, obljubim. Tokrat naj bo dovolj ta kratek uvod, da se lahko sedaj lotimo tiste prave teme ?lanka in si konkretno pogledamo najpomembnej?e lekcije (po mojih izku?njah) testiranja ...

Ta je najenostavnej?a. Testiranje je preprosto nujno za "prodajno" optimizacijo vsakr?nega spletnega mesta.

Lahko imamo izku?nje. Lahko analiziramo na vse pretege. Lahko imamo intuicijo. A na koncu nas bodo obiskovalci ?e vedno presenetili in "izbrali" nepri?akovano.

Ker obiskovalci glasujejo s svojimi "denarnicami" (oz. konverzijami). Dokler jih ne postavimo pred odlo?itev, ne bomo nikoli zares vedeli, katera razli?ica deluje najbolj?e.

Potrebujete ?e kak?en razlog?

Morda to, da lahko s testiranjem postopoma prodajno u?inkovitost svojega spletnega mesta pove?ate tudi za ve? kot 100%, 200%, 300% in celo ve??

Ko sem bil ?e mlad internetni tr?nik, ki je ravno odkril ?udoviti svet vzporednega testiranja, sem ?elel testirati prakti?no vse, tudi najbolj miniaturne spremembe na spletnem mestu.

Enostavno me je vodila ?elja po znanju oz. vedenju, kaj deluje bolj?e. In sem za?el v ekstreme.

Danes lahko povem:

Nobeno spletno mesto v Sloveniji nima dovolj obiska, da bi lahko testiralo vsako malenkost.

Zakaj?

Zanesljivi rezultati zahtevajo statisti?no zna?ilnost. Za to pa potrebujete ob?utno ?tevilo konverzij.Male spremembe prina?ajo male razlike v rezultatih. ?etudi dose?ete statisti?no zna?ilnost, bodo razlike v rezultatih zaradi malih sprememb preprosto premale, da bi se testiranje izpla?alo.

?elite primer malih sprememb?

Primerjajte npr. ti dve verziji pod-strani za si.MarketingStudies.net brezpla?no e-knjigo:

Opazite razlike? Nekaj razlik v besedilu, nekaj dodatnih grafik, in to je to. Razlike sicer so (tudi v rezultatih), a majhne. Tolik?ne, da zanje ni bilo vredno izgubljati ?asa, temve? bi bilo bolj?e ta ?as nameniti ve?jim testom.

Zato ...

Ker imamo na voljo omejeno ?tevilo obiskovalcev, torej ne moremo testirati prav vsake malenkosti. Zato moramo svojo energijo usmerjati v teste, ki imajo najve?jo verjetnost velikega vpliva na rezultate.

V praksi to pomeni testiranje ve?jih konceptualnih razlik, ki lahko pomembno vplivajo na rezultat.

Npr.:

Prodajni pristop pri predstavitvi izdelkaPonudba (cena, razli?ni spro?ilci, omejenost, ...)Ve?je strukturne in oblikovne spremembeItd.

Kaj bi npr. bile ve?je strukturne in oblikovne spremembe?

Primerjajte spodnji dve razli?ici istega spletnega mesta in vam bo takoj jasno:

Razlike v rezultatih? Ogromne!

Eno izmed pravil vzporednega testiranja pravi, da je potrebno naenkrat testirati le eno samo razliko, saj lahko le tako ugotovimo, kako ta razlika vpliva na rezultat.

V teoriji super pravilo, ki pa je v Sloveniji, zopet zaradi majhnosti trga, popolnoma neizvedljivo.

Bistvo testiranja ni osebna rast v iskanju kaj deluje in kaj ne, temve? najhitrej?a pot do ?imve?jega rezultata.

Glede na to, da ne moremo testirati vsega, so dobre predpriprave nujen pogoj za uspe?en test.

To pomeni minimalno:

Poglobljena analiza spletnega mesta za ugotavljanje, kaj je sploh smiselno testirati (smiselno je testirati pod-strani in elemente, ki imajo najve?ji vpliv na rezultate in najve? obiska)Poglobljena analiza spletnega mesta, ki nam pomaga ?e vnaprej ugotoviti, kaj so potencialno najbolj?e re?itve

Pri pomembnej?ih testih pa je smiselno iti ?e globje. Ko smo npr. v Studio Moderni izvajali testiranja za Dormeo spletno trgovino, smo:

Za?eli s fokusnimi skupinami, kjer smo sku?ali ugotoviti katere informacije potencialne stranke potrebujejo pri nakupni odlo?itvi, katere informacije na spletnem mestu pogre?ajo, kateri faktorji najbolj vplivajo na njihovo nakupno odlo?itev itd.Pri tem smo izvedli ?e nekaj manj?ih testov uporabnostiNato smo na podlagi rezultatov iz fokusnih skupin oblikovali anketo za vse obiskovalce spletnega mesta, ki smo jo na koncu tudi analizirali po segmentih glede na njihovo obna?anje na spletnem mestu in njihove nakupne odlo?itveKon?no smo za?rtali plan testov in se jih lotili postopoma, pri tem pa vsak test na koncu tudi podrobno analizirali in na podlagi ugotovitev oblikovali prihodnje teste

Skozi ta proces jasno ne gremo za vsak test.

Pravzaprav pri le manj?em delu testov - pri tistih najpomembnej?ih in najve?jih.

Optimizacija in testiranje najve?je rezultate prina?ata na za?etku optimizacijskega cikla, ko imamo opravka s prodajno precej neoptimiziranim spletnim mesto, nato pa skozi ?as dodatna ustvarjena vrednost skozi optimizacijo postopoma upada.

To je seveda popolnoma logi?no. A kljub temu nekaj, na kar moramo biti pozorni, sploh ?e mislimo, da bomo z vsakim naslednjim testom ponovili uspehe prej?njih testov.

Ravno tako ne pri?akujte, da bo vsak test pokazal izbolj?avo. V precej primerih se vam lahko zgodi, da bo osnovna razli?ica imela bolj?i rezultat, kakor pa nova verzija.

Mnogo tr?nikov se pri svojih prvih korakih v testiranje odlo?a predvsem za strukturne teste, pri katerih sku?ajo ob?utno pove?ati konverzijo zgolj s premetavanjem razli?nih elementov znotraj posameznih pod-strani.

Sicer ima tudi tak?no premetavanje elementov pomemben u?inek, a v praksi so mnogo pomembnej?i slede?i faktorji:

Jasno komuniciranje vrednosti za obiskovalcaJasnost vsebine, ki obiskovalcu jasno in konkretno pove, kaj so prednosti ponudbe zanjPrava ponudba (prava cena, pravi spro?ilci, prave omejitve, prava vsebina ponudbe)Maksimalna izpostavljenost pozivov k dejanju (pozivov k izvedbi konverzije)Dobro delujo? konverzijski procesDostopnost vsebin, ki obiskovalcu odgovorijo na vsa vpra?anja glede ponudbeVse to ima mnogo ve?ji vpliv na rezultate, kakor pa ?e je dolo?en element postavljen levo ali desno.

Ravno tako ima design spletnega mesta mnogo manj?i vpliv, kakor si radi tr?niki predstavljajo. Design je vsekakor pomemben, predvsem za vzbujanje kredibilnosti in zaupanje ter za ustrezne izpostavitve. Ne bo pa testiranje razli?nih manj?ih faktorjev v designu prineslo ob?utnih razlik.

V okviru optimizacije lahko predvsem v spletni trgovini najbolj?i rezultat dose?ete z optimizacijo prodajnega procesa.

Ampak, ravno optimizacija prodajnih procesov je tisto podro?je, kjer pravilo o vzporednih testih ne velja, temve? se raje odlo?imo za sekven?ni test. Zakaj?

Predvsem zato, ker je vzporedno testiranje prodajnih procesov precej kompleksno opravilo, ki preprosto vzame preve? ?asa in resursov, in ker je terminski vpliv pri prodajnih procesih, v primerjavi z drugimi elementi, ?e skoraj najmanj?i.

Velike in opazne razlike obi?ajno dobimo pri testih, pri katerih smo zaradi njihove narave (npr. mnogo bolj?a ponudba, celostna optimizacija prodajnega procesa itd.) ?e vnaprej vedeli, da bodo uspe?ni in da bodo delovali bolj?e od originalne verzije.

Zakaj potem sploh izvedemo tak?en test, ?e ?e vnaprej vemo, katera verzija bo zmagala, namesto da bi takoj pre?li na novo verzijo?

Sami pri sebi u?ivamo s ?tevilkami in se ?elimo pohvaliti sami pred sabo, da nam je uspelo s spremembo spletnega mesta izbolj?ati rezultat.Z uspe?nimi spremembami spletnega mesta se ?elimo pohvaliti pred drugimi.Potrebujemo samopotrditev, ki pa je pravzaprav nekoliko irelevantna, saj smo ?e vnaprej vedeli, da bo nova razli?ica delovala bolj?e.

Skratka, predvsem zaradi svojega ega. Kar pa je precej slab razlog.

Zato na?eloma testirajte le takrat, kadar resni?no ne veste, katera razli?ica bo delovala bolj?e. V nasprotnem primeru s testom izgubljate dragoceni ?as in obiske, ki bi jih lahko namenili drugim testom.

No, seveda obstajajo tudi pri tem pravilu izjeme ...

Zamislite si, da ste odkrili izjemen recept (po va?em mnenju), s katerim boste potencialno ob?utno pove?ali konverzijo izdel?nih pod-strani va?e spletne trgovine.

Prepri?ani ste, da bo optimizacija prinesla bolj?i rezultat in da teoreti?no sploh ni smiselno testirati, ker ?e vnaprej veste, da bo rezultat bolj?i.

A ?e ?elite nato ta recept aplicirati na vse pod-strani va?e spletne trgovine, bo to zahtevalo ogromno resursov.

Morate torej ugotoviti, za koliko bo sprememba izbolj?ala rezultat in ali bo ta izbolj?ava upravi?ila dodatne stro?ke, ki bodo nastali z vpeljavo spremembe na vse izdel?ne pod-strani, in ali bo ta izbolj?ava dodatne stro?ke upravi?ila bolj, kakor druge aktivnosti.

V tem primeru preprosto morate testirati, saj morate vedeti, za koliko bo optimizirana verzija res izbolj?ala rezultat.

Podobna velja tudi, ?e npr. ?elite poiskati optimalno ponudbo. Npr., kaj se zgodi, ?e izdelek ponudite z darilom? Bo dodatni stro?ek darila toliko pove?al prodajo, da bo absolutni dobi?ek na koncu merljivo ve?ji? Zopet dober razlog za testiranje ...

Vi ste morda ?e 100%, da bo sprememba delovala bolj?e od trenutne verzije, a vam drugi (va? manager, marketing oddelek itd.) ne verjamejo.

Najbolj?a pot je torej test, skozi katerega boste dokazali smiselnost spremembe.

Glede na vse zgoraj povedano je klju?no, da veste, kdaj testirati in kdaj ne. Kdaj torej testirati?

Kadar imate dovolj obiska in dovolj ?asa, da bo test zanesljivKadar testirate razli?ne ponudbe, ki jih boste pozneje predstavili tudi ?ir?i mno?ici in preko dodatnih prodajnih kanalovKadar morate oceniti prispevek sprememb k rezultatom, saj nadaljevanje projekta zahteva veliko resursovKadar morate v smiselnost sprememb prepri?ati drugeKadar resni?no ne veste, ali bo sprememba pozitivno vplivala na rezultat ali ne oz. kadar i??ete optimalno razli?ico

Pri analizi rezultatov testov se nikar ne zaustavite le pri pav?alni analizi rezultatov kot celote, temve? poglejte "pod pokrov" in analizirajte rezultate glede na razli?ne segmente obiskovalcev:

Glede na vir obiskovalcev (klju?ne besede, spletni mediji, oglasi itd.)Glede na dan in ?as obiskaGlede na uporabljeni brskalnikItd.

Mnogokrat bo ravno tovrstna segmentacija razkrila najve?je potenciale za izbolj?ave.

Ne verjamete?

V enem na?ih najzna?ilnej?ih testov so se najve?je razlike pokazale med obiskovalci, ki uporabljajo Internet Exporer in tistimi, ki uporabljajo Firefox.

Kaj smo nato z njimi naredili?

Eno verzijo naslovne strani smo za?eli prikazovati uporabnikom z Internet Explorerjem, drugo pa tistim s Firefoxom.

Splo?na optimizacija spletnega mesta za vse obiskovalce bo vsekakor prinesla rezultate. A ?e ve? boste dosegli, ?e boste posamezne pristajalne strani optimizirali glede na njihove vire obiska, kot smo npr. ?e pokazali v ?lanku o AdWords ogla?evanju.

Kar je delovalo lani, ne bo nujno delovalo tudi letos, in obratno. Zato tudi ?e izvr?ene testne ?e kdaj ponovite.Tudi ko ste test enkrat ?e izvedli, ga je vedno priporo?ljivo ponoviti ?e enkrat, pa ?etudi ste dobili statisti?no zna?ilne rezultate. Statistika je eno, praksa pa drugo.

Za zaklju?ek pa predvsem to:

Testirajte je klju?no, zato testirajte.

A testirajte pametno!

Kaj pa so va?e izku?nje?

View the original article here