HÉTKÖZNAPI ADATTUDÓS (MATEK A VÁLLALKOZÁSBAN – KICSIT MÁSKÉPP) [2023. 10. 10.] Írta: Mester Tomi

[ÚJ] Ez a hírlevél .epub formában is elérhető! Ha e-könyv olvasón szívesebben olvasnád ezt az anyagot, akkor töltsd le ezt a fájlt és aztán töltsd fel a megfelelő eszközödre: .EPUB VERZIÓ.

“Egyre több az információ, amihez hozzájuthatok a hétköznapokban – és mégis egyre kevesebbet tudok a világról.”

Te is éreztél már így?

Én rengetegszer.

Pontosabban egyre inkább azt érzem, hogy torzulnak el a valóságaink:

félre vagyunk tájékoztatva (hírportálok)
véleménybuborékban élünk (social media)
iszonyat énközpontúvá válunk (a “kék pötty generáció”*)
de közben olyan emberekkel hasonlítjuk össze magunkat, akikkel abszolút nem kéne (pl. amerikai vállalkozók)
…

*Megjegyzés: ha még nem hallottad a “kék pötty generáció” kifejezést — ezt tipikusan a Z-generációra, illetve részben az Y-generációra szokták mondani. Ugyebár mi azon szocializálódtunk, hogy amikor egy térképet nézünk (pl. a mobilunkon), akkor annak egy kis kék pötty van a közepén. Szimbolikusan: akárhol vagyunk, mi vagyunk a világ közepe. A régi térképek máshogy működtek — és egy kicsit a korábbi generációk is. Persze ez csak egy metafora, de azért van benne valami.

Ez most csak néhány elem egy nagyon-nagyon hosszú listáról, de szerintem tényként mondhatjuk ki azt, hogy egyre elveszettebbek vagyunk. Egyre nehezebben értjük meg, hogy mi az objektív igazság. És még ha látni is véljük, egyre többször azt érezzük, hogy a többi embernek – akár a szűk környezetünkben is – teljesen más a valósága.

A XXI. században ez a normális és valószínűleg ehhez kell hozzászoknunk. De ettől függetlenül még továbbra is frusztráló a dolog.

Szerencsére még mindig vannak eszközök, amik a rengeteg szubjektív véleményt egy kicsit közelebb hozzák egymáshoz. Ezek közül is kiemelkedik egy olyan dolog, ami az elmúlt 5000 évben nem sokat változott: a matematika.

Szerintem a matematika (és vele együtt a statisztika) a világ legobjektívebb dolga.

Úgyhogy ma erről lesz szó.

VÁRJ!

Még ne csukd be ezt a cikket! 😉

Tudom, kevés szárazabb témaötlet létezik egy biznisz hírlevélhez… De hidd el nekem: a mateknak van olyan része, ami nem csak izgalmas, de kifejezetten hasznos – különösen ha az ember vállalkozó.

A mai levélben 6 olyan matekos alapelvet gyűjtöttem össze, amiről sok vállalkozó elfelejtkezik, pedig fontos lenne a sikeres működéshez.

Nézzük, hogy ebből te hányat ismersz! (Az x/6 számodat dobd be a BB Pro közösségi fórumra!)

Mi lesz a mai cikkben?

2021-ben nekiálltam könyvet írni. Leírtam egy könyvcímet (najó, csak munkacím volt: “The everyday data scientist”), majd összeraktam egy koncepciót és egy vázlatot. Olyan egyszerű és hétköznapi matematikai fogalmakat gyűjtöttem össze, amiket bárki könnyedén megérthet és amiről szerintem mindenkinek tudnia kéne egy boldogabb, teljesebb, okosabb és objektívebb élethez… A könyv végül nem készült el és szerintem soha nem is fog. (Egyszerűen akárhogy számolgatok, üzleti szempontból nem éri meg könyvet írni ebben a témában.)

Viszont most leszűrtem azt a hat témát, ami vállalkozóknak is kifejezetten hasznos lehet – és összegyűjtöttem őket ebben az anyagban.

Nem arról lesz szó, hogy hogyan kell megtérülést, profitot vagy kamatos kamatot számolni. Persze ezek is fontosak, de úgy gondolom, hogy aki itt van és ezt a levelet olvassa, ezeket a kisujjából rázza már ki.

Ehelyett olyan témákat hoztam, amik csak ritkán kerülnek elő a klasszikus középiskolai- vagy felsőoktatás során, pedig igen hasznosak lennének mindenkinek — nem csak vállalkozóknak. Íme:

Létezik-e olyan, hogy valami 100%-ig biztos?
A véletlen alulbecsült szerepe.
Várható érték. (És hogy miért nem építenék soha startup-ot?)
Észlelési és statisztikai torzítások. (És miért nem működik a mások sikerének visszafejtése?)
Nagyon nagy és nagyon kicsi számok értelmezése (Hogy vernek át az adattudósok?)
A félreértett korreláció.

Vágjunk is bele!

1. Létezik-e olyan, hogy valami 100%-ig biztos?

Ez az első elem a listán sokkal inkább egy filozófiai, semmint egy matematikai kérdés. Ettől függetlenül érdemes elgondolkodni rajta:

Létezik-e olyan, hogy valami 100%-ig biztos?

Az ember gyerekkorától kezdve arra törekszik, hogy felépítsen egy biztonságos világképet magának — amit idővel aztán mindig porig rombol valami:

Amikor kicsi vagy, azt hiszed, hogy a szüleid a tökéletes emberek. Aztán meglátod, hogy ők is hibáznak és egy világ omlik össze benned.
Kamaszkorodban, amikor először leszel szerelmes, azt hiszed, hogy megtaláltad életed párját. Pár hónappal később szakítotok.
Amikor kitűnő eredménnyel elvégzed a középiskolát, majd az egyetemet, azt hiszed, hogy ömleni fognak rád a milliós állásajánlatok. Aztán a diplomaosztó után hónapokig kell az alulfizetett gyakornoki pozikat hajtanod.
Amikor felépíted a vállalkozásodat, azt hiszed, hogy most már tényleg független és sebezhetetlen vagy. Majd jön egy válság és elsöpör mindent.

100%-os bizonyosság az életnek szinte egyetlen területén sem létezik. Egyszerűen túl sok változó van a világban és mindent nem tudunk kiszámítani.

A tudományoknak is ez az egyik legnagyobb problémája. Matematikai képtelenség akármit is 100%-osan bebizonyítani! Miért? Mert ha bizonyítasz egy elméletet (pl. minden hattyú fehér), akkor elég egyetlen kivételt találni a gyakorlatban (pl. egy fekete hattyút), hogy azt mondhassák, hogy lám-lám, mégsem 100%-osan biztos, amit mondtál.

További példák:

Ez a szívgyógyszer minden beteget meggyógyít. –» Egy ilyen állítás cáfolásához elég 10.000-ből egyetlen egy beteg, akire ez nem igaz.
Ez a szerver 100%-os üzemidőt biztosít. –» Elég, ha egy évben öt másodpercre leáll a szerver és cáfolva van az ígéret.
Ez a marketing-módszer minden biznisznek garantált növekedést hoz. –» Elég 100-ból egy vállalkozás, ahol mégsem hoz eredményt valami miatt.
…

És ugye, ahol egy kakukktojás van, ott már lehet kettő, három vagy akár még több is. Innentől fogva pedig már csak kommunikáció kérdése, hogy mennyire nagyítjuk fel a problémát. (Rosszul végezted a kutatást? Hibásan vetted fel az adatokat? Vagy az is lehet, hogy szándékosan hazudsz!?)

Egyszerűbb, ha belátjuk: akármit mondtak neked, akármit gondolsz vagy állítasz – valamekkora esélye mindig van, hogy tévedsz.

Lehet valami 99.9%-ra valószínű, de 100%-ra szinte soha.

Megjegyzés 1: Nem véletlen, hogy a tudományos kutatásokban a 95%-os statisztikai erősség az elfogadott alsó határ és nem a 100%. Bár a 95%-ot azért elég sokan kritizálják, hogy túl alacsony. 2005-ben egyenesen azzal a címmel jelent meg egy tanulmány, hogy “Why Most Published Research Findings Are False“. A közérthető verzióját itt találod videó formátumban.

Megjegyzés 2: a legdurvább, hogy még a matematika látszólag zárt és tökéletesen logikus rendszerre sem sebezhetetlen. Bár kicsit meta téma, de ha érdekel, akkor érdemes Kurt Gödel, osztrák matematikus “nem-teljességi tételek” című munkájára rákeresni. A wikipédiás pop-osított megfogalmazás így hangzik: “minden ‘valamirevaló’ elméletben bizonyíthatatlan, hogy maga az elmélet ellentmondásmentes.” És ezt az állítást Gödel matematikailag bizonyította. 🙂 Na, de ezzel nem terhellek tovább. Ha érdekel, itt olvass tovább.

A szerencsénk a bizniszben, hogy a 99%-os bizonyosság többnyire azért bőven elég szokott lenni.

Ha valaki azt mondja nekem, hogy egy szerver 99.9%-os üzemidőt biztosít, akkor azért elviselem azt az évi ~10 órát, amikor valamiért mégsem elérhető a honlapom.

Tehát az alapelv így hangzik: Semmi sem 100%-ig biztos, csak megfelelően valószínű.

Az üzleti vonatkozás: biztos, hogy neked van igazad?

Ennek a gondolatnak rengeteg üzleti vonatkozása van.

Számomra a legfontosabb az, hogy mióta elfogadtam ezt a beépített bizonytalanságot az életemben, azóta elengedtem azt is, hogy 100%-ig biztos legyek abban, hogy nekem van igazam.

Azt mondják, hogy egy jó (adat)tudós pont attól lesz jó tudós, hogy sokszor kételkedik és megkérdőjelezi a biztosnak hitt dolgokat. Éppen ezért, ha az ember néha kételkedik magában, az nem feltétlen az önbizalomhiány, sokkal inkább az intelligencia jele.

Általában egy vállalkozásban egy problémára több jó megoldás van. Az, amit te látsz a legjobbnak: az egyedül a saját valóságodban a legjobb. De simán lehet, hogy a kollégád vagy az alapítótársad igazsága éppen olyan vagy még jobb eredményeket hoz majd.

Az, hogy valaki 100%-ig megvan győződve arról, hogy csak és kizárólag az az egyetlen járható út, amit ő mond, az ostobaság egyik legnagyobb jele – hiszen semmi sem 100%-ig biztos.

2. A véletlen szerepe

A véletlenek szerepét hajlamosak vagyunk alulértékelni — vagy éppen túlértékelni az életünkben.

Régen az adatos élő képzéseimen mindig megkértem egy-egy résztvevőt, hogy segítsen nekem és változzon át egy pár percre egy “véletlen generátorrá”. A feladat egyszerű volt: képzelje el fejben, hogy feldob egy érmét és mondja nekem az értékeket, amiket éppen gondol.

Kb. így nézett ki 30 egymásutáni képzeletbeli dobás, amit egy ember generált:

F-F-Í-Í-Í-F-Í-F-Í-F

Í-Í-F-F-Í-F-F-F-Í-Í

F-Í-Í-Í-F-Í-Í-F-F-F

Ezután ténylegesen elkezdtünk érméket feldobni, aminek valami ilyesmi volt az eredménye:

F-Í-F-Í-Í-F-Í-F-F-Í

Í-Í-Í-Í-Í-F-F-F-F-Í

Í-F-F-F-Í-Í-F-Í-F-Í

Látod a különbséget a kettő között?

Elárulom: amikor az ember “generálta” a “véletlen” dobásokat, sosem volt háromnál hosszabb sorozat fejből vagy írásból.

Amikor viszont ténylegesen feldobtuk az igazi érméket, simán volt, hogy egymás után 6-szor, de akár 7-szer is ugyanaz az érték jött ki.

(Próbáld ki otthon: rokonokkal, majd egy igazi érmével. Ugyanezt fogod kapni.)

Mi a tanulság? Az, hogy az ember nagyon-nagyon rosszul becsüli meg a véletlen szerepét az életben. Amikor valami teljesen random történik (például 7-szer egymás után fejet kapunk), abba hajlamosan vagyunk sorsszerűséget – vagy akár a saját zsenialitásunkat belelátni. És ez fordítva is igaz: amikor valami okkal történik (pl. a gimiből a legbutább gyerek mára már milliárdos vállalkozó lett), sokszor a szerencsére vagy a szerencsétlenségre hivatkozunk.

Üzleti vonatkozás: túl közelről nézed.

Az egyik dolog, amit data scientist-ként a legtöbbször láttam cégeknél az az ún. “túl közelről nézed” jelenség.

Biztos vagyok benne, hogy veled is megtörtént már, hogy volt valami célkitűzésed, amiért minden nap kitartóan küzdöttél és az egyik héten jelentősen rosszabb számok jöttek, mint az előzőn, pedig te mindent ugyanúgy csináltál.

Ne tudd meg, hogy hányszor volt olyan, hogy:

Egy PPC-s kolléga odajött hozzám, hogy a héten 10%-kal leestek a konverziói. Mi történt?
Egy manager odajött hozzám, hogy ma 20%-kal több eladásunk volt, mint általában. Mi történt?
Egy vállalkozó barátom arra panaszkodott, hogy az elmúlt hónapban teljesen leestek a bevételei. De nem tudja, hogy mi történt…
…

A válasz egy csomó ilyen esetben: nem történt semmi.

Az igazság az, hogy ezeket a pillanatnyi eltéréseket többnyire a puszta véletlen okozza – de legalábbis olyan átmeneti trendek vagy események, amelyekre abszolút nincs semmi befolyásunk. Ilyenkor mindig ugyanazt válaszolom: zoom-oljunk ki egy kicsit! Amit ma látsz, az valószínűleg nem egy 67%-os növekedés:

Hanem egy teljesen normális statisztikai kilengés egy amúgy stagnáló adatsoron. Íme a nagykép:

Nyilván ugyanez működik, ha negatív eredményeket látsz, esetleg lassú a növekedést.

Akármi is a helyzet nálad, a pillanatnyi helyzetet önmagában sosem szabad értékelni — mindig érdemes több hetes, akár több hónapos trendeket vizsgálni és az alapján mérlegelni, hogy jó irányba haladsz-e.

3. Várható érték

Foglalkozzunk egy kicsit a várható érték fogalmával!

Mi az a várható érték?

Leegyszerűsítve: az az átlagos eredmény, amire akkor számíthatsz, ha nagyon sokszor megismételsz egy cselekedetet.

Egyszerű példa: ha dobsz egy hatoldalú kockával, akkor a dobásod eredményének várható értéke 3,5.

Próbáld csak ki: ha dobnál 100-szor egymás után, összeadnád az összes dobott értéket, majd elosztanád azt 100-zal (a dobások számával), akkor kb ez az átlag jönne ki.

A matematikai formula is viszonylag egyszerű: össze kell szorozni az összes lehetséges kimeneti értéket az adott értékekhez tartozó valószínűségekkel, majd az így kapott eredményeket összeadni.

A hatoldalú kocka példájánál maradva, a lehetséges dobások ugye:

Mindegyiknek pontosan ⅙-od a valószínűsége.

Ez alapján a várható érték:

(1 * ⅙) + (2 * ⅙) + (3 * ⅙) + (4 * ⅙) + (5 * ⅙) + (6 * ⅙) = 21/6 = 3,5

A várható érték fogalmával tisztában lenni különösen jól jön a kaszinóban – így könnyen kiszámíthatod, hogy pl. ruletten mennyit veszítesz átlagosan egy kör alatt. De jól jön az élet egyéb területein is.

Pl. fiatalabb koromban kiszámoltam, hogy a BKV-n nem nagyon éri meg jegyet venni. Ha 100-ból 1-szer jött ellenőr és mondjuk 8.000 Ft-os helyszíni bírsággal sújtott, akkor a lógás átlagosan 80 Ft-ba került.

A várható érték számítási képlettel:

(1/100 * 8000) + (99/100 * 0) = 80 Ft a várható átlagos büntetésem utanként. Ez az akkori jegyárnak kb. a harmada volt.

Megjegyzés: Azóta édesanyám már megtanította, hogy nem azért veszünk jegyet, hogy ne büntessenek meg. 🙂

Az üzleti vonatkozás: miért nem építenék soha startup-ot?

A vállalkozás sokszor olyan, mint egy fogadás:

fogadok arra, hogy ez lesz a nyerő termék
fogadok arra, hogy ez lesz a nyerő marketingüzenet
fogadok arra, hogy ez lesz a nyerő piac

A 20-as éveim elején, ahogy sokan mások, én is a gyorsan skálázódó startup-okra fogadtam. Olyan bizniszeket próbáltam létrehozni, amik igazán nagyra nőhetnek és amiknél egy sikeres exit után már nincs más dolgom, mint számolgatni a száz-milliókat. Volt kb 5-6 ilyen próbálkozásom — összesítve pontosan nulla forintot kerestem velük. (Ámde jól megalapozták a data science karrieremet és tudásomat, szóval mégsem panaszkodom.)

A gond csak az, hogy ezeknél a startup-oknál a tényleges pénzbeli jutalom várható értéke elég alacsony, hiszen a siker esélye is kicsi.

Pl. tegyük fel, hogy csinálsz valamit, ami 5 év alatt eljut addig, hogy egymilliárd forintért el tudd adni. Ennek az esélye mondjuk 1% (de szerintem még ez is túlzás).

A leegyszerűsített számítás így néz ki:

(1.000.000.000 * 0.01) + (0 * 0.99) = 10.000.000 Ft

Az a várható értéked 10.000.000 Forint.

(Oké, a képlet lehetne bonyolultabb is, ha belevennénk, hogy menetközben kapsz valami minimális kis fizetést is… Illetve elképzelhető az is, hogy alacsonyabb áron el tudod adni a céget. De a valóság az, hogy az ilyen startup ötletek általában vagy felfutnak, vagy földbe állnak, átmenet csak riktán van.)

Most vessük ezt össze azzal, hogy építesz egy olyan céget, amiből 5 év múlva 30% eséllyel csak százmillió forintot veszel ki. Ilyen lehet egy akármilyen szolgáltató cég, egy oktatócég, vagy akármi más klasszikusabb és visszafogottabb üzleti modell.

A képlet:

(100.000.000 * 0.3) + (0 * 0.7) = 30.000.000 Ft

Háromszor akkora a várható értéked. Ráadásul az ilyen vállalkozásoknál már akár a harmadik-negyedik év környékén elég kellemes osztalékokat és fizetéseket lehet felvenni – amit most bele se számoltam a képletbe.

Nyilván habitus, élethelyzet és anyagi helyzet is válogatja, hogy az ember melyik irányba megy. Van, aki a magas-rizikó-magas-megtérülésű lehetőségeket keresi és ezt el is fogadom. Én viszont úgy látom, hogy ha valaha is ilyen vállalkozásba szállok be, azt sokkal inkább befektetőként csinálnám úgy, hogy legalább 10-20 lóra teszek egyszerre, hogy növeljem a nyerés esélyét. De egyrészt ez az időszakom még messze van, másrészt ha odaérek, akkor is sokkal inkább látom azt, hogy szívesebben fektetek majd be klasszikusabb low-risk-low-reward bizniszekbe.

4. Észlelési és statisztikai torzítások

A torzítás (angolul “bias“) az egyik kedvenc témám. Csak erről tudnék írni egy egész könyvet… Ha valaki ezt nem tette volna már meg előttem. (Jó szívvel ajánlom: David McRaney You Are Not So Smart című írását.)

Akárhogy is, van három torzítás, ami sokszor előjön az üzleti életben, ezért érdemes tudni róluk. (Elnézést, angol neveket fogok használni, magyarra kb lefordíthatatlanok.)

Survivorship Bias
Confirmation Bias
Cherry Picking

Nézzük őket egyesével!

A survivorship bias az egyik leggyakoribb biznisz-torzítás mind közül. Tipikus eset, amikor látunk egy sikeres vállalkozót magunk előtt. Megnézzük, hogy milyen eszközöket használt és megpróbáljuk mi is azokat másolni, hogy mi is sikeresek legyünk. A probléma csak az, hogy ezt a sikeres vállalkozót azért látjuk magunk előtt, mert ő “túlélte” a média (vagy social media) kiválasztásának folyamatát. Azokat az embereket viszont nem látjuk, akik pontosan ugyanazokat az eszközöket használták, mint ő és sikertelenek maradtak. Miért? Mert a sikertelen vállalkozók eltűntek a süllyesztőben, ők nem kerültek címlapra és nem lett milliós követőbázisuk Twitter-en. Simán lehet, hogy 1000 sikertelen (és emiatt láthatlan) vállalkozó egy-az-egyben ugyanazt a marketingstartégiát követte, mint az egy látványosan sikeres emberünk, de ők végül nem értek el eredményeket. Simán lehet, hogy a sikeres emberünk egy másik, ismeretlen és akár másolhatatlan tényező miatt lett kiemelkedően eredményes (jobb megjelenésű? magabiztosabb? szimpatikusabb? humorosabb? vagy egyszerűen csak szerencsésebb?) – és mi pedig azt hisszük, hogy a stratégia, amit használ működni fog nekünk is.

A confirmation bias az a tipikus élethelyzet, amikor pl. be akarsz fektetni Starbucks részvényekbe és arra keresel rá Google-n, hogy “jó befektetés-e a Starbucks”. Már a szó használatból látszik, hogy alapvetően te nem információt keresel, hanem megerősítést és önigazolást. És ugyebár, aki keres az talál. 🙂 Eggyel jobb lenne, ha arra keresnél, hogy “miért rossz befektetés a Starbucks” – ezzel mintegy kritizálva a saját gondolkodásodat.

A cherry picking egy klasszikus kezdő data scientist eszköz. Tegyük fel, hogy van egy hipotézised (pl. a vásárlóink szeretni fogják x terméket). Ha csinálsz 10 elemzést, és szerencsés vagy, akkor abból mondjuk 6 igazolni fogja az alapfeltevésedet, 2 semleges lesz, de garantálom, hogy legalább 2 cáfolni is fogja. A kutatások így működnek — nem minden egy irányba mutat. A probléma az, hogy ilyenkor az ember hajlamos ösztönösen csak azt az elemzést előtérbe helyezni, ami igazolja az ötletét és azokról finoman megfeledkezni, amik nem… képletesen szólva csak a szép cseresznyéket leszedni a fáról. Ez viszont hiba. Ahhoz, hogy a teljes képet lássuk, érdemes megvizsgálni azokat a dolgokat is, amik a hipotézisünk ellen szólnak. Kevesen látják át, de az, hogy egyszerre az érvekkel és az ellenérvekkel is foglalkozunk, hosszú távon nem gyengíteni, hanem éppen erősíteni fogja a kutatásunkat.

Üzleti alkalmazás: miért nem működik a “mások sikerének visszafejtése” módszer

Akárhányszor azt hallom GaryV-től és a hasonló nagyágyúktól, hogy “reverse engineer success”, a falra tudnék mászni.

Amikor egy stratégia sikerességét akarod visszafejteni, az a confirmation bias és a survivorship bias legrosszabb kombinációja. Hiába találsz akár 100 embert, aki extrém sikeres lett egy adott üzleti stratégiával:

Nem tudod, hogy hány ember nem lett sikeres ugyanazzal a stratégiával. (Survivorship bias)
Nem tudod, hogy hány ember lett sikeres úgy, hogy az adott stratégia szöges ellentétét követte. (Confirmation bias)

Itt egy gyors magyarázó ábra.

Például GaryV sokszor mondja, hogy posztolj rengeteget social media-ra. Látod, hogy ő ezt csinálja és működik — sőt, látod, hogy további másik 99 ember is ezt csinálja és működik!

A következtetés:

	CSINÁLJA
SIKERES	100

De, ha őszinték vagyunk, akkor ez az igazságnak csak egy kicsi szelete. A minimum, hogy egy 2 * 2-es mátrixot csinálunk belőle.

	CSINÁLJA	NEM CSINÁLJA
SIKERES	100	?
NEM SIKERES	?	?

Simán lehet, hogy a teljes igazság így néz ki.

	CSINÁLJA	NEM CSINÁLJA
SIKERES	100	10.000
NEM SIKERES	10.000	100.000.000

Nem azt mondom, hogy nem érdemes más sikereit tanulmányozni és tanulni belőle. Érdemes! De az biztos, hogy nagyon nagy kritikával kell kezelni mindent, amit ezekből a kutakodásokból kihozunk.

Megjegyzés: és azt sem mondom, hogy a sok posztolás social media-ra nem működik. Csupán annyit mondok, hogy tudományos szempontból az önmagában még kevés bizonyíték, hogy azt látjuk, hogy másoknál működik.

5. Az adatokat tudni kell olvasni is.

Képzeld el, hogy valaki azt mondja neked, hogy van egy különleges vitamin, amit az A-gyártó készít és amitől nagyon egészséges leszel. Az egyetlen hátulütője, hogy van egy mellékhatása. Nem nagy a gond, mert hogy 99.5% eséllyel ez a mellékhatás egyáltalán nem jön elő.

B-gyártó egy nagyon hasonló vitaminnal jön ki. Náluk is előfordulhat mellékhatás, de ott már 99.9% eséllyel nem jön elő.

99.5% vs. 99.9%.

Nagyon kicsi a különbség, szinte azt mondanánk, hogy elhanyagolható.

Viszont, ha a másik oldalról vizsgáljuk a számokat, ez azt jelenti, hogy:

a A-gyártó vitaminjánál, 1000 emberből 5-nél előjönnek a mellékhatások
a B-gyártó esetében 1000 emberből csak 1-nél

Ha újságcikk születik a témáról, akkor két szalagcím létezik:

🥳 Egyik jobb, mint a másik! A-gyártót és B-gyártót már csak tizedes jegyek választják el mellékhatás tekintetében: 99.5% vs. 99.9% 🥳
😱 A-gyártó vitaminjánál 5-ször annyi a mellékhatás, mint B-gyártóénál! 😱

Megjegyzés. Nyilván attól függ, hogy az A-gyártó vagy B-gyártó szponzorálja-e a cikket. Akár ez is mehetne az előző szekcióba Sponsorship Bias néven.

Az üzleti vonatkozás: az adatokat tudni kell olvasni.

Az az igazság, hogy bármelyik adatokhoz kicsit is értő embert tudja úgy csavarni a számait, hogy azok jobban vagy rosszabbul nézzenek ki, mint a tények, amiket közölni kéne velük. Ezért nagyon fontos, hogy az ember mögé nézzen egyes számoknak, diagrammoknak és elemzéseknek.

Nem elég a konklúziót elfogadni, mindig érdemes megnézni, hogy:

mik a konkrét számok és mi volt a számítás menete, ami az eredményeket kiadta
mit jelentenek a számok arányaiban és abszolút mennyiségben
honnan van az adat — mennyire megbízható az adat
ki készítette az elemzést és miért
…

Röviden úgy foglalnám össze: akár mennyire kész tényeket próbálnak elénk rakni, ne fogadjuk azokat el gondolkodás és egészséges kételkedés nélkül.

6. A félreértett korreláció

Sok ember hiszi azt, hogy azért lesz nyár, mert megjelennek a fagylaltárusok a Balaton-parton.

Najó… Ezt senki nem hiszi, de azért azt be kell látnunk, hogy van pár dolog, amiben hajlamosak vagyunk összekeverni, hogy mi az ok és mi az okozat.

Például:

Pár éve Amerikában elterjedt a hír, hogy ahol Starbucks nyílik, ott felmennek az ingatlanárak is. Az elemzések kimutatták, hogy a két jelenség között tényleges összefüggés van! Csak éppen simán lehetséges, hogy fordított az ok-okozati irány és pont azért nyílik Starbucks egy környéken, mert az éppen felfutóban van — és nem fordítva. (Forrás.)
Sok könyvesboltban árulnak kávét is. Azt pedig már többször is megfigyelték, hogy amikor több kávét adnak el, több könyv is fogy a boltban. A következtetés: a kávéfogyasztás pozitív hatással van a könyvvásárlási kedvre… Vagy egyszerűen csak több ember sétált be a boltba, így több fogyott a kávéból és a könyvekből is?
Egy SaaS (Software as a Service) cég elérhetővé tett egy szuper oktatóanyagot a termékéhez. Bár csak a felhasználók 1%-a nézte végig ezt, de ez a kis szegmens végül kétszer akkora eséllyel fizetett elő, mint mindenki más. Szóval az oktatóanyag sikeres volt: jobban konvertálja a user-eket… Vagy egyszerűen csak az a kevés ember, aki végignézte az anyagot, már eleve elkötelezettebb volt, mint a többiek, így az oktatóanyagtól függetlenül is nagyobb eséllyel fizetett volna elő?
…

Megannyi példát hozhatnék, de nem folytatom. A lényeget szerintem érted.

Az, hogy két dolog között van összefüggés, nem azt jelenti, hogy van köztük ok-okozati viszony is. Tudományosabban fogalmazva ezt úgy mondjuk, hogy a korreláció nem jelent kauzalitást.

És még ha van is tényleges ok-okozati kapcsolat két tényező között, akkor is nagyon nehéz pusztán adatok alapján meg mondani, hogy mi annak az iránya: mi az ok és mi az okozat.

Persze az olyan egyértelmű eseteknél, mint hogy a nap kisüt és előbújnak a fagylaltárusok, intuitív módon érezzük, hogy mi következik miből.

De vegyünk egy kevésbé egyértelmű példát!

Tegyük fel, hogy megkapod egy nagyobb cég HR-adatait 10 évre visszamenőleg — és azt látod, hogy azokban a negyedévekben, amikor alacsonyabb volt a fluktuáció, rendre magasabbra volt értékelve a vállalati kultúra. A két dolog között van összefüggés — van korreláció! De:

Vajon az alacsony fluktuáció miatt erősebb a vállalati kultúra?
Vagy pont a jobb vállalati kultúra miatt alacsonyabb a fluktuáció?
Vagy egy külső tényező okozza az összefüggést? (Pl. egy karakteres vezető jobb vállalati kultúrát vezet be — és ugyanemiatt a vezető miatt többen is maradnak a cégnél.)
Vagy csak teljes véletlen, hogy a két szám együtt mozog?

A választ csak sejtjük, de biztosan nem tudjuk — a korreláció matematikailag kiszámítható, a kauzalitás sajnos már keményebb dió.

Az üzleti vonatkozás: tényleg érdemes A/B tesztelni

Ha valamit meg akarunk érteni, akkor gyakran nem elég egyszerűen annyit tudunk, hogy két dolog korrelál egymással. Látnunk kell azt is, hogy melyik okozza melyiket.

A tudományos levezetést most kihagyom és rögtön a szomorú következtetést mondom:

Sajnos az a helyzet, hogy visszatekintő elemzésekkel nem (vagy csak nagyon-nagyon ritkán és nehezen) lehet ok-okozati összefüggéseket feltárni. Korrelációt egyszerű, de a kauzalitás szinte lehetetlen.

Na de akkor hogyan deríthetjük ki, hogy mi az ok és mi az okozat? A tudománynak szerencsére van erre is válasza: teszteléssel!

A gyógyszeriparban már nagy múltja van a dolognak: a kontrollcsoportos tesztelések pontosan a fenti korreláció-kauzalitás problémáját hivatottak megoldani. Ha A) csoport gyógyszert kap és meggyógyul, B) csoport pedig placebo-t és nem gyógyul meg (és más különbség nincs a két csoport között), akkor egyértelmű, hogy a gyógyulás oka a gyógyszer. (Ez persze egy erős egyszerűsítése a tényleges statisztikai módszertannak, de a lényeg ez.)

Az online világban pontosan ezt a módszert másolják az A/B tesztek. Meglepődnék, ha nem hallottál volna az A/B tesztelésről, ezért most nem untatnálak a definícióval és azzal, hogy hogyan kell A/B teszteket futtatni. Amire fel akartam hívni a figyelmet az az, hogy az A/B tesztelés nem csak egy jópofa kutatási eszköz — nem csak egy a sok közül. Az A/B tesztelés ennél sokkal fontosabb szerepet tölt be — hiszen ez az egyetlen olyan online kutatási eszköz, amivel tényleges, statisztikailag igazolható ok-okozati összefüggéseket lehet kimutatni. Az egyetlen olyan eszköz, aminek segítségével azt tudod mondani, hogy “ha itt ezt megváltoztatom, akkor ez is változni fog”. Bizonyos cégméret felett ezt az erőt nagy hiba alábecsülni és nem kihasználni.

(De még a legkisebb cégeknél is legalább a hirdetéseket érdemes folyamatosan tesztelni és elemezni.)

Összefoglalás

Eljutottál idáig? Gratulálok! Elvégre matematikai fogalmakról olvastál több, mint fél órán át… Ezt az emberek többsége nem nagyon csinálja önszántából.

Remélem sikerült meggyőznöm téged arról, hogy a matematika és a statisztika érdekes, de főleg arról, hogy kifejezetten hasznos is tud lenni, ha az ember vállalkozó.

Zárásképpen most kivételesen három könyvet fogok ajánlani, ha el akarsz mélyedni a témában:

David McRaney: You Are Not So Smart (különböző statisztikai és észlelési torzításokról)
John Allen Paulos: Számvakság (leginkább valószínűség-számításról és kombinatorikáról szól, de általános matematikai fogalmak miatt is érdemes olvasni)
Steven Levitt & Stephen J. Dubner: Think Like a Freak (kreatív problémamegoldás matekos gondolkodással)

Mindhárom könyv nagyon olvasatos, élvezetes és tanulságos! Jó szívvel ajánlom őket!

És ne feledd:

A véletlenek szerepét az ember hajlamos alá vagy felé becsülni. Ha 10%-20%-os napi (de akár heti vagy havi) ingadozások vannak a bizniszedben, az egyáltalán nem biztos, hogy egy tényleges trendszerű változás. Lehet, hogy csak a véletlenek összjátékáról van szó. Zoom-olj ki egy kicsit és nézd meg nagyobb léptékben is a dolgokat.
Használd a várható érték koncepciót! Ne csak azt lásd, hogy mekkora profitod származhat valamiből, súlyozd mindig azzal is, hogy mindez mekkora eséllyel fog megtörténni.
Légy tudatában az egyes statisztikai és észlelési torzításoknak! Tudatosítsd, hogy az agyad hajlamos becsapni téged. Ne dőlj be az olyan üzleti közhelyeknek, mint hogy “reverse engineering success”! A sikerhez több jó út is vezethet, semmi sincs kőbe vésve és senki nem tud semmit 100%-os biztonsággal.
Az adatokat tudni kell olvasni! Egy elemzésen elég csak egy picit csavarni, hogy az eredményeket teljesen másként látassa az ember. Érdemes mindig benézni a motorháztető alá és megérteni, hogy milyen adatokkal hogyan dolgozott az elemző a háttérben.
A korreláció nem kauzalitás. Az egyetlen jól működő módszer, hogy egy online vállalkozásban ok-okozati összefüggéseket tárj fel: az A/B tesztelés.

És végül, de nem utolsó sorban: semmi sem 100%-ig biztos — csak megfelelően valószínű...

…pont úgy mint az állítások ebben az anyagban!

Szokás szerint: ez az email inkább hangos gondolkodás – egy fajta nyilvános napló, részben magamnak címezve. Szóval nem a tutit próbálom megmondani, fenntartom a tévedés lehetőségét — és őszintén érdekel a te véleményed is! Az előző leveleimre rengeteg izgalmas választ és gondolatot kaptam – remélem erre is fogok.

Úgyhogy ne habozz, válaszolj! (Adi és én is megkapjuk.) valasz@dev.bbpro.hu

Üdvözlettel,
Mester Tomi