Report z konference Which Test Won v Londýně

Ve dnech 26.-27. května 2014 se v Londýně konal druhý ročník konference Which Test Won: The Live Event. Tato konference je zaměřena na A/B testování a optimalizaci konverzního poměru (CRO). Možná někteří z vás znáte populární studnici A/B testů – web Which Test Won. Na tomto webu si můžete prohlédnou nespočet mini případových studií a zkusit si tipnout vítěze prezentovaných A/B testů. Za konferencí pak stojí stejná skupina jako za webem.

Předvečer konference: Setkání stovky CRO specialistů

V předvečer úvodního dne se v Londýně konal neformální sraz příznivců CRO. Na sto lidí se sešlo v kancelářích VisualDNA, aby se se potkali s kolegy z oboru a poslechli si několik přednášek, které připravili organizátoři Peter O’Neill a Ton Wesseling. Mezi nejzajímavější řečníky patřil Craig Sullivan, který pro peprnější slovo nechodí daleko ;-). Mluvil o tom, jak s jistotou (slušně řečeno) pokazit svůj A/B test. Craiga můžete mj. vidět na brněnském Marketing Festivalu začátkem listopadu. Sraz zakončila půvabná Nathalie Nahai, přezdívaná The Web Psychologist. Pokud neznáte její blog, doporučuji k pročtení.

Den 1: Optimalizace na Wikipedii a globální platby

Samotná konference začala ve čtvrtek ráno úvodní keynote Justina Rondeau, hlavního organizátora konference. Justinovi za rok projde pod rukama cca 1000 A/B testů, takže má poměrně velký přehled o tom, co funguje a co ne. Například v letošním roce vidí trend testování velkých obrázků na homepage (příkladem úvodní stránka Highrise nebo KinderCare), které často vedou ke zvýšení konverze. Dále zmiňoval výsledky průzkumu o současném stavu A/B testování z webu WhichTestWon.com:

• Většina lidi bere nápady na hypotézy z webové analytiky, best practices či případových studií
• Méně lidí už z uživatelského testování, sběru zpětné vazby či uživatelských person – zde vidí potenciál pro zlepšení.
• Nejvíce podceňovaným krokem je z jeho pohledu plánování a prioritizace A/B testů.

Program konference tvořily převážně 20-minutové případové studie z oblasti CRO (od procesu zavádění CRO do firmy až po průběh konkrétních optimalizací). Hned první den dopoledne přišla řada na mě. Představil jsem několik zajímavých A/B testů z AVASTu a jak jsme za několik měsíců intenzivní optimalizace dosáhli zvýšení měsíčních tržeb o několik stovek tisíc dolarů. Podívejte se níže na slidy:

Z prvního dne se mi líbila nejvíce Megan Hernandez z Wikimedia Foundation. Megan má na starosti výběr dobročinných příspěvků na provoz Wikimedia organizace. Celkově mají kolem 2 milionů dárců a jen minulý rok vybrali 35 milionů dolarů. Drtivou většinou prostředků vyberou prostřednictvím kampaní, které běží omezenou dobu na Wikipedii (každý region má jiné období kampaně). Kampaň se skládá hlavně z nejrůznějších bannerů, které ve Wikimedia neuvěřitelně do detailu testují: pozice, rozměry, text, tlačítko, obrázek, landing stránka. Objem A/B testů nejlépe ukazuje pohled do týdenního (!) kalendáře (co políčko, to A/B test):

Pár zjištění z kvanta Wikimedia testů:

• Hlavní prostředek kampaně, dopis „A personal appeal from Wikipedia founder Jimmy Wales“, je samotný hodně testovaný a laděný.
• Fotka zakladatele Jimmy Walese na banneru  zvyšuje konverze (která už nerozhoduje).
• Citace z dopisu na banneru pomáhá konverzi.
• Umístit na banner přímo tlačítko k poslání daru (včetně výběru z několik částek) také zvyšují konverzi.
• Text „Když všichni přispějeme $3, tak máme vybráno do hodiny“ zvýšil počet darů o 40% a tržby o 20% (oproti „Prosím pomozte nám udržet Wikipedii bez reklam a nezávislou“).

V závěru prvního dne měla zajímavé povídání Mike Batko z Cleverbridge. Cleverbridge je globální e-commerce platforma (objednávkový proces + backend + legislativa a finanční záležitosti). Mají klienty jak z USA, Evropy i Asie a objednávkové procesy musí být lokálně optimalizované: lokální měny a platební metody (!), platební zvyklosti (věděli jste například, že v Brazílii je zvykem kupovat na splátky i věc v hodnotě 15 dolarů?).

Co mě obzvláště zaujalo je optimalizace objednávkového procesu napříč prohlížeči. Každý prohlížeč obvykle reprezentuje jinou cílovou skupinu a v Cleverbridge mají dobré zkušenosti s jiným objednávkovým procesem pro Internet Explorer (IE) a jiným pro Google Chrome (případě Firefox). Uživatelům IE explicitně vysvětlí, co mají kde vyplnit a zdůrazní, že celý objednávkový proces je zabezpečený. Uživatelé Chromu mají obvykle větší zkušenosti nakupováním online a nákupní proces je tomu přizpůsobený – důraz je kladen na jednoduchost a rychlost vyplnění objednávky.

Den 2: A/B testování emailů a neuromarketing

Druhý den byla zajimavá hned první případovka. Dan Coxen-Jones z AWA digital povídal o optimaliazi obchodu Northern Parrots  – specializovaný obchod s potřebami pro chovatele papoušků.

V projektu postupovali tak, jak by se mělo. Nejdřív se pečlivě věnovali analýze – heatmapy, analytika, zpětná vazba, uživatelské testování, analýza formulářů. Závěry zpracovali, přetavili v hypotézy a otestovali. Přineslo to 34,7% zvýšení třzeb. Líbili se mi způsoby, jak sbírali zpětnou vazbu. Například na děkovací stránku umistili jednoduchý dotazník s otázkou: „Která jedna věc vás málem odradila od koupě?“ 

Nebo si rozdělili produktové stránky podle počtu PageViews a eventů Přidat do košiku. Produkty s vysokým počtem PageViews a malým počtem Přidání do košiku si označili štitkem „podprůměrné“. Na těchto produktových stránkach se uživatelů (opět pomocí dotazníku) ptali, co jim zde chybí nebo vadí.

Odpoledne Marty Fahncke z Barton Publishing popisoval své zkušenosti s A/B testovaním emailů. Jen pár poznatků v bodech:

• Předmět emailu je klíčový – vyplatí se testovat jako první.
• Landing page s 35 min. dlouhým videem může skvěle fungovat, pokud je vaše cílovka 55+. Dává smysl ;-)

Matt Carlock z Clarks přispěl několika radami, které by se měly tesat do kamene:

Pointa je: nesklouzněte k slepému kopírování A/B testů konkurence, ale zaměřte se na svůj bysnys a na svá zjišťení.

Paradoxně hned poté následovala prezentace Tona Wesselinga s 25 úspěšnými A/B testy, převážně z holandského trhu. Mrkněte, jestli vás něco nezaujme, ale hypotézy si u svého businessu vždy ověřte!

Na závěr měl hodinou přednášku Karsten Lund o neuromarketingu. Škoda, že ji organizátoři nezařadili dříve. Druhý den odpoledne už bylo hodně lidí unavených a dalo práci vše vstřebat. Co mě utkvělo v poznámkovém bloku?

• To, co považujeme za současnost je ve skutečnosti právě skončených 15 vteřin.
• „Myslíme méně než si myslíme, že myslíme.“
• Jsou dva druhy pozornosti:
  • Nevědomá – 80%; bez námahy; automatická – nevědomky svou pozornost věnujeme novým podnětům.
  • Vědomá – 20%; namáhavá; manuální – cílená pozornost na specifické objekty/činnosti.
• Problémem mnoha webů je pak částé narušení uživatelovi pozornosti (slidery, bannery, prvky s vysokou vizuální prioritou mimo hlavní obsah)

Celkově mě konference mile překvapila. Mnoho zajímavých lidí, případových studií a přijemné prostory v centru Londýna. Jediným záporem je cena – skoro $2,000 mi přijde přehnané. Zvlášť v době skvělých (ne)konferencí typu MeasureCamp a UX Camp, které jsou zdarma.

Michal Pařízek

Michal pracuje v e-commerce oddělení firmy Avast. Soustředí se na dlouhodobější projekty s důrazem na optimalizaci. Vystudoval VŠE v Praze. Ve volném čase rád cestuje a sportuje.

@parezem parizek.michal@gmail.com