Pilotet dhe eksperimentet para ndryshimit të madh

Në këtë numër

Ndryshimet e mëdha zakonisht vendosen me bindje: një plan, një buxhet, një datë nisjeje. Ky numër flet për ta provuar ndryshimin fillimisht në të vogël, përballë një grupi krahasimi dhe me një rregull vendimi të rënë dakord para nisjes, që të vendosë rezultati, jo mendimi më i zëshëm.

Te Bing, një ide e vogël priti më shumë se gjashtë muaj dhe pastaj i rriti të ardhurat me 12%. Te Microsoft, vetëm një nga tri ide të provuara përmirësoi atë që synonte. Modeli i Përmirësimit e provon një ndryshim në të vogël: një ditë, një njësi. Në 126 prova qeveritare, efektet ishin shumë më të vogla se në studimet e botuara. Katër kontrolle tregojnë kur t'i besosh një rezultati, dhe një kartë ndihmon për planin e pilotit.

Stiven Janaqi, Redaktor

Tema kryesore

Gjashtë muaj në sirtar

Në 2012, një punonjës i Microsoft-it që punonte për motorin e kërkimit Bing propozoi të ndryshonte mënyrën si shfaqeshin titujt e reklamave. Një inxhinieri do t'i merrte disa ditë, por ishte një nga qindra ide, dhe menaxherët e programit i dhanë përparësi të ulët.

Ideja priti më shumë se gjashtë muaj. Pastaj një inxhinier, duke parë sa pak kushtonte kodi, nisi një test të thjeshtë A/B: përdoruesit u ndanë rastësisht mes titujve të vjetër dhe të rinjve. Brenda pak orësh të ardhurat u rritën aq shpejt sa ndezën një alarm “shumë mirë për të qenë e vërtetë”. Zakonisht alarme të tilla tregojnë një gabim në kod. Këtë herë jo.

• 6+ muaj priti ideja, me përparësi të ulët
• 12% më shumë të ardhura, pa dëmtuar treguesit kryesorë të përdoruesve
• 100+ mln $ në vit vetëm në SHBA, sipas vlerësimit të autorëve

Leximi ynë

Asnjë mbledhje nuk do ta kishte renditur saktë këtë ide. Një test i lirë dha brenda pak orësh përgjigjen që muajt e renditjes së përparësive nuk e kishin dhënë.

Kohavi dhe Thomke e quajnë idenë që solli më shumë të ardhura në historinë e Bing-ut. 12% u mat në test; 100 milionë dollarët janë shifra e tyre vjetore për SHBA-në.

Burimi: Ron Kohavi & Stefan Thomke, Harvard Business Review 95(5), 2017 (përmes HBR reprint R1705E)

Shifrat

Shumica e ideve nuk funksionojnë

Kompanitë që provojnë pothuajse çdo ndryshim mësojnë të njëjtin mësim, shkruajnë Ron Kohavi dhe Stefan Thomke: shumica e ideve të reja dështojnë në eksperimente, dhe edhe ekspertët shpesh gabojnë se cilat do të shpërblejnë. Te Microsoft në tërësi:

Idetë e provuara me eksperimente te Microsoft, sipas rezultatit: 1 nga 3 dalin efektive, 1 nga 3 nuk ndryshojnë asgjë, 1 nga 3 kanë rezultat negativ.

Në produkte të optimizuara mirë si Google dhe Bing, vetëm rreth 10–20% e eksperimenteve japin rezultat pozitiv; te Slack, rreth 30% e eksperimenteve për të ardhurat (2019). Sipas Thomke-s, mesatarja është rreth 10%.

Leximi ynë

Nëse dy nga tri ide të besueshme nuk ndryshojnë asgjë ose i përkeqësojnë gjërat, të zbatosh një ndryshim të madh pa e provuar është bast, jo vendim.

Produkte online, ku testet janë të lira; për repartet e punës nuk gjetëm pjesë të krahasueshme. Slack: një postim që citojnë Kohavi, Tang & Xu; 10% e Thomke-s: një intervistë (2019).

Burimet: Ron Kohavi & Stefan Thomke, Harvard Business Review 95(5), 2017 (përmes HBR reprint R1705E); Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press, 2020 (përmes Chapter 1, published by the authors); Stefan H. Thomke, Harvard Business Review Press, 2020 (përmes Michael Blanding, "Creating the Experimentation Organization", HBS Working Knowledge, 2019)

Modeli

Tri pyetje, cikle të vogla

Modeli i Përmirësimit (Model for Improvement), nga Associates in Process Improvement dhe i shtjelluar te The Improvement Guide (Langley dhe kolegët, 2009), bën tri pyetje para se të ndryshohet diçka përgjithmonë.

• Qëllimi. Çfarë po përpiqemi të arrijmë?
• Matja. Si do ta dimë që një ndryshim është përmirësim?
• Ndryshimi. Çfarë ndryshimi mund të bëjmë që të sjellë përmirësim?

Provimi i ndryshimit: cikli Plan-Do-Study-Act

1. Planifiko.
2. Bëj.
3. Studio.
4. Vepro.

Planifiko ndryshimin, provoje, studio rezultatet, vepro sipas asaj që mësove. Prova është e vogël me qëllim: shembulli i Institute for Healthcare Improvement është një pacient, një ditë. Pas disa ciklesh në kushte të ndryshme, si dita e nata, ndryshimi bëhet i përhershëm dhe shtrihet.

Leximi ynë

Piloti nuk është një nisje e butë. Është një pyetje me afat: a e bën ky ndryshim, këtu, më mirë se ajo që bëjmë sot?

Pyetjet dhe hapat ndjekin faqen e Institute for Healthcare Improvement për modelin; vetë libri nuk u pa. Leximi është i redaksisë.

Burimi: Langley, Moen, Nolan, Nolan, Norman & Provost, Jossey-Bass, 2009 (përmes Institute for Healthcare Improvement, "Model for Improvement")

Më shumë te eseja: DMAIC pa black belt

Çfarë thotë kërkimi

Pse rezultatet tkurren në shkallë të gjerë

Stefano DellaVigna dhe Elizabeth Linos mblodhën 126 prova të rastësishme me 23 milionë njerëz, të gjitha të kryera nga dy “njësi nudge” të mëdha të qeverisë amerikane, dhe i krahasuan me provat nudge të botuara në revista akademike.

Efekti mesatar i një nudge-i te pjesëmarrja, pikë përqindjeje: Në revista 8,7, Në shkallë të gjerë 1,4.

Provat e botuara ishin të vogla: mediana e një grupi trajtimi ishte 484 veta, kundrejt 10.006 te njësitë nudge. Provat e vogla dallojnë vetëm efekte të mëdha, dhe revistat botojnë kryesisht atë që dallohet. Botimi selektiv, i rënduar nga fuqia e ulët statistikore, shpjegon rreth 70% të diferencës; dallimet mes vetë nudge-ve shpjegojnë pjesën më të madhe të mbetjes.

Leximi ynë

Historia e suksesit që lexon është ajo që u botua. Planifiko sikur shtrirja e ndryshimit të japë më pak se piloti që të bindi.

Pjesëmarrja: pjesa e atyre që bëjnë atë që u kërkohet, si regjistrimi ose vaksinimi. Efektet dhe 70% nga Econometrica (2022); madhësitë e grupeve nga versioni i punës i 2020.

Burimi: Stefano DellaVigna & Elizabeth Linos, Econometrica 90(1), 2022

Si matet

Shifra që t'u besosh

“Të marrësh shifra është e lehtë; të marrësh shifra që mund t'u besosh është e vështirë”, shkruajnë Kohavi dhe Thomke. Katër kontrolle para se të vendosë rezultati i pilotit:

• Krahaso me një grup kontrolli. Te Yahoo, një studim vëzhgues e vlerësoi efektin e reklamave te kërkimet për markën 871–1.198%; një eksperiment i kontrolluar, 5,4%.
• Cakto një masë kryesore dhe kufijtë mbrojtës. Para nisjes, jo pas; kufijtë mbrojtës janë ato që s'duhet të përkeqësohen.
• Vazhdo të paktën një javë të plotë. LinkedIn mat të paktën një javë: një ditë e vetme i mbipërfaqëson përdoruesit më aktivë.
• Kontrollo ndarjen, dysho për befasinë. Grupet me madhësi të paplanifikuar shpesh e zhvlerësojnë rezultatin. Ligji i Twyman-it: çdo shifër që duket interesante ose ndryshe zakonisht është e gabuar.

Shembull hipotetik, një rrugë e re mbledhjeje në një magazinë

• Krahasimi: zona A me rrugën e re, zona B si më parë, po ato dy javë
• Masa kryesore: rreshta të mbledhur në orë: A +6%, B +4%
• Kufiri mbrojtës: gabimet e mbledhjes: të pandryshuara në të dyja

Përballë zonës B, rruga vlen rreth 2 pikë, jo 6. Numrat janë të shpikur.

Kontrollet sipas Kohavi & Thomke (2017), Kohavi, Tang & Xu (2020) dhe, për javën, Xu et al. (2018). Shembulli është i redaksisë.

Burimet: Ron Kohavi & Stefan Thomke, Harvard Business Review 95(5), 2017 (përmes HBR reprint R1705E); Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press, 2020 (përmes Chapter 1, published by the authors); Ya Xu, Weitao Duan & Shaochen Huang, KDD '18 (ACM), 2018

Mjeti i numrit

Karta e planit të pilotit

Plotësoje para nisjes, me ata që do ta drejtojnë pilotin. Pastaj shtrije me hapa: fillimisht një grup i vogël, një fazë matjeje, pastaj të gjithë.

1. Hipoteza nëse ndryshojmë X, Y përmirësohet rreth Z, sepse …
2. Çfarë ndryshon një ndryshim, aq i qartë sa ta përsëriste kushdo
3. Ku dhe sa gjatë një zonë, turn ose ekip; të paktën një javë e plotë normale
4. Çfarë matet një masë kryesore, si numërohet, dhe kufijtë mbrojtës
5. Grupi i krahasimit ku vazhdon mënyra e sotme, në të njëjtat ditë
6. Rregulli i vendimit i caktuar para nisjes: shtrije, ndryshoje ose ndale, dhe kush vendos

Praktikë e propozuar nga redaksia, sipas Modelit të Përmirësimit, Xu et al. (2018) dhe rregullit të Thomke-s: një hipotezë që provohet, një grup kontrolli, dhe t'u përmbahesh rezultateve.

Burimet: Langley, Moen, Nolan, Nolan, Norman & Provost, Jossey-Bass, 2009 (përmes Institute for Healthcare Improvement, "Model for Improvement"); Ya Xu, Weitao Duan & Shaochen Huang, KDD '18 (ACM), 2018; Stefan H. Thomke, Harvard Business Review Press, 2020 (përmes Michael Blanding, "Creating the Experimentation Organization", HBS Working Knowledge, 2019)

Hape mjetin: Sigma dhe karta e kontrollit

Burimet dhe metoda

Çdo shifër ka një burim.

Shifrat e këtij numri vijnë nga burimet më poshtë. Viti tregon sa e re është secila.

• Ron Kohavi & Stefan Thomke, Harvard Business Review 95(5), “The Surprising Power of Online Experiments”, 2017 (përmes HBR reprint R1705E). https://hbr.org/2017/09/the-surprising-power-of-online-experiments
• Ron Kohavi, Diane Tang & Ya Xu, Cambridge University Press, “Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing”, 2020 (përmes Chapter 1, published by the authors). https://experimentguide.com/
• Stefan H. Thomke, Harvard Business Review Press, “Experimentation Works: The Surprising Power of Business Experiments”, 2020 (përmes Michael Blanding, "Creating the Experimentation Organization", HBS Working Knowledge, 2019). https://www.library.hbs.edu/working-knowledge/creating-the-experimentation-organization
• Langley, Moen, Nolan, Nolan, Norman & Provost, Jossey-Bass, “The Improvement Guide: A Practical Approach to Enhancing Organizational Performance (2nd ed.)”, 2009 (përmes Institute for Healthcare Improvement, "Model for Improvement"). https://www.ihi.org/resources/how-improve-model-improvement
• Stefano DellaVigna & Elizabeth Linos, Econometrica 90(1), “RCTs to Scale: Comprehensive Evidence from Two Nudge Units”, 2022. https://doi.org/10.3982/ECTA18709
• Ya Xu, Weitao Duan & Shaochen Huang, KDD '18 (ACM), “SQR: Balancing Speed, Quality and Risk in Online Experiments”, 2018. https://doi.org/10.1145/3219819.3219875

Metoda editoriale

Çdo shifër u kontrollua për vitin, botuesin dhe çfarë mat saktësisht. Kur faqja e botuesit nuk hapej, shifra u kontrollua te përmbledhje të pavarura dhe shënohet me “përmes”. Interpretimi i redaksisë shënohet “Leximi ynë”. Shifrat që nuk u konfirmuan nuk janë në numër.