Krátky blog o o úspešnosti predpovedí expertov v porovnaní so štatistickými funkciami a náhodou.
Manželstvá a rozvody
Ak máte dostatočne veľké množstvo odvahy (alebo dostatočne malé množstvo empatie), skúste počas najbližšej svadby položiť novomanželom nasledujúce tri otázky:
- Aké je percento rozvodovosti?
- Aká je teda pravdepodobnosť, že akýkoľvek náhodne vybraný pár sa rozvedie?
- Aká je teda pravdepodobnosť, že sa rozvediete vy dvaja?
V prípade, že nemáte záujem nikomu kaziť svadbu, ponúkam aj typické odpovede:
- 50%
- 50%
- 0%
Ak sa vám zdá, že tu niečo nesedí, zdá sa vám správne. Je určite príjemné veriť, že práve to vaše manželstvo je špeciálne a vymyká sa akejkoľvek štatistike. Možno je takéto psychické nastavenie pre manželstvo aj prospešné, možno naozaj má väčšiu šancu uspieť, čím viac v neho veríme. Ak však neexistujú žiadne extrémne závažné skutočnosti, vďaka ktorým je toto manželstvo zásadne odlišné od priemerného manželstva, tak jediná dobrá odpoveď na tretiu otázku je 50%.
Predstavte si, že počas túry v prírode zistíte, že mostík ponad malý kaňon, po ktorom ste chceli prejsť na druhú stranu, je strhnutý. Namiesto neho je na okraji pribitá ceduľka, ktorá vraví, že kaňon sa dá preskočiť, a že úspešnosť takého preskoku je 50%. Budete skákať? Ako veľmi musíte dôverovať vo vaše schopnosti, aby ste sa odhodlali na skok?
Keď si veríme až príliš
Prehnané pozitívne ilúzie možno môžu byť prospešné pre manželstvo, ale pokiaľ máte skákať ponad priepasť, je lepšie ostať pri zemi. A to doslova. Prílišné sebavedomie totiž častejšie vedie k pádu, ako k úspechu. Ak máte k dispozícii relevantné štatistické dáta, prípadne dokonca predpoveď štatistického predikčného algoritmu a napriek tomu sa rozhodnete veriť radšej svojmu „šiestemu zmyslu“, koledujete si o problém.
Kanadské centrum pre inováciu https://innovationcentre.ca/ ponúka začínajúcim podnikateľom možnosť prefackať si svoj podnikateľský nápad prostredníctvom štandardizovaného testu (dokonca je k dispozícii aj osekaná bezplatná verzia). Vaša idea je hodnotená na základe niekoľkých desiatok kritérií a nakoniec sa celý výstup agreguje do jedinej známky na stupnici od A do E, od najlepšej po najhoršiu. Známky D a E znamenajú niečo v zmysle „mizivá nádej na úspech“ a takéto hodnotenie dostane zhruba 70% nápadov. Odradí takéto vysvedčenie ľudí od ich plánu? Nie dostatočne. Zhruba polovica nádejných podnikateľov hodnotenie D alebo E odignorovala a pokračovala vo svojom snažení ďalej. Koľko z nich so svojim nápadom aj skutočne prerazilo a začalo zarábať? Nula.
Výsledky tohto kanadského programu ponúkajú hneď dve zaujímavé zistenia:
- Ľudia sú často prehnane optimistickí a zároveň neprimerane nekritickí voči svojim vlastným schopnostiam a nápadom.
- Dobre navrhnutá štatistická predikčná funkcia môže mať veľmi pôsobivú úspešnosť predpovedí.
Klinickí psychológovia vs. štatistika
Už v roku 1954 vydal psychológ Paul Meehl knihu, v ktorej sa snažil odhaliť odpoveď na otázku, či môže štatistická funkcia poraziť klinických psychológov v úspešnosti diagnózy pacienta a predpovede jeho správania. Svoju knihu začal obhajobou jedinečnosti každého človeka, z ktorej nepriamo vyplýva, že matematická funkcia nemôže poraziť odborníka, keďže nemôže poznať pacienta tak dobre ako psychológ. Meehl však následne zhromaždil výsledky 20 výskumov, ktoré proti sebe postavili štatistiku a intuíciu a na svoje vlastné prekvapenie zistil, že v 19 prípadoch bola štatistika lepšia alebo aspoň porovnateľne dobrá ako odborný posudok psychológov. Navyše, ten posledný, dvadsiaty výskum bol navrhnutý pomerne nešťastne – štatistika v ňom skrátka nemala šancu vyhrať.
Psychológovia a psychiatri teda štatistickú funkciu neporazili, ale neviedli si až tak zle, tí najlepší dokázali mať zhruba podobnú úspešnosť ako tvrdá matematika. K úspešnosti rozhodne prispieva hlavne určitá predvídateľnosť rozhodovacieho prostredia. Ľudia sa skrátka často správajú a rozhodujú podľa určitých vzorcov. Napriek tomu, že máme ilúzie o vlastnej jedinečnosti, naše konanie je v skutočnosti v mnohých situáciách vcelku predvídateľné.
Politológovia a ekonómovia vs. generátor náhodných čísel
Ako sú však na tom experti z iných oblastí, v ktorých je vývoj udalostí extrémne závislý od množstva náhodných javov? Aká je úspešnosť predpovedí expertov v oblasti politológie, makroekonómie či burzových maklérov? Jedným slovom – katastrofálna.
Philip Tetlock skúmal predpovede takmer troch stoviek expertov, ktorí pracovali ako politickí či ekonomickí komentátori a poradcovia. Zozbieral vyše 80 tisíc predpovedí napríklad na otázky, či pôjde USA do vojny v perzskom zálive, alebo aký bude makroekonomický vývoj niektorej krajiny. Všetky predpovede sa týkali relatívne blízkej budúcnosti a k dispozícii boli vždy 3 možné odpovede. Výsledky tejto štúdie boli absolútne strašidelné. Úspešnosť predpovedí expertov bola horšia ako 33%, čo inými slovami znamená, že by ich porazil aj generátor náhodných odpovedí. Alebo opice so zaviazanými očami, hádzajúce šípky na terč.
Burzoví makléri vs. slepé opice
Apropo, opice a terč nie sú v ekonómii až tak veľkou novinkou. Americký profesor Burton Malkiel už v roku 1973 trvdil, že oslepené opice hádzajúce šípky na stránku novín s informáciami o firermných akciách podľa neho dokážu vybrať rovnako dobré portfólio akcií ako experti – burzoví makléri. Realita je však ešte horšia. Opice sú dokonca oveľa úspešnejšie. Každoročná analýza americkej burzy od roku 1964 do roku 2011 ukázala, že zo 100 náhodne vybraných „opičích“ portfólií, bolo každý rok 98 úspešnejších ako portfólio, ktoré vybrali experti.
Ak ste expert v určitej oblasti a v úspešnosti predpovedí vás porazí iný expert, je to príležitosť sa od neho niečo naučiť. Ak vás porazí štatistická funkcia, je možno na mieste začať ju brať vážne. A ak vás porazí generátor náhodných čísel alebo slepá opica, možno je lepšie žiadne predpovede nerobiť a venovať sa radšej tomu, čo vám naozaj ide.
Čo s tým?
Intuícia je krásna vec, ale prehnané optimistické ilúzie o vlastných schopnostiach nám často ubližujú. Vo svete plnom nekonečného množstvá dát je takmer hriechom sa o nich neoprieť. To však rozhodne neznamená, že tu nie je priestor pre expertov, práve naopak. Sú to práve experti, ktorí dokážu štatistike vdýchnuť kľúčovú esenciu pre vytvorenie kvalitnej predikčnej funkcie. Som presvedčený o tom, že odbornosť a vedomosti expertov im poslúžia určite lepšie pri ladení predikčných vzorcov a miernom upravovaní výsledných predpovedí, ako pri intuitívnom odhadovaní na základe skúseností.
Máte pocit, že vaše odborné úsudky sú na tom pomerne dobre? Skúste si ich zapisovať, takýmto spôsobom budete mať záznam aj o tých neúspešných (na ktoré často zabúdame). Možno budete prekvapení…
Referencie
Ferri, R. (2012). Any Monkey Can Beat The Market. Forbes.
Kahneman, D. (2011). Thinking, fast and slow. Macmillan.
Meehl, P. E. (1954). Clinical versus statistical prediction: A theoretical analysis and a review of the evidence.
Tetlock, P. (2005). Expert political judgment: How good is it? How can we know?. Princeton University Press.
Moja FB stránka: