Postdoktorand prestižnog američkog sveučilišta Princeton Dejan Kovač za Lider detaljno objašnjava zašto nijedna anketa nije predvidjela ovakve rezultate Europskih izbora. Kovač nam otkriva što je šuplje u metodologiji, a protiv čega se valja boriti u predizbornoj ekonometriji koja može dati finalni, odlučujući impuls neodlučnom glasaču i utjecati na ishod izbora.
Nakon objave rezultata izbora idućih nekoliko dana šuška se o tome kako su predizborne ankete podbacile, iznimka nije ni najrecentnije izdanje Europskih izbora čiji su rezultati u nedjelju navečer priuštili vladajućem HDZ-u neugodno iznenađenje. Podsjetimo, četiri mandata osvojili su ljuti rivali HDZ i SDP, a po jedan mandat Hrvatski suverenisti, Mislav Kolakušić, Živi Zid te Amsterdamska koalicija.
Kakav je to krivi spoj predviđanja i stvarnosti i što je zakuhalo situaciju tumači nam naše gore list Dejan Kovač, ujedno i prvi Hrvat zaposlen na Woodrow Wilson školi javnih i međunarodnih odnosa, koja je uz ‘čikašku školu‘ najveća tvornica nobelovaca iz ekonomskih znanosti:
Zašto ankete nisu predvidjele ovakve izborne rezultate
Zašto nismo uspjeli predvidjeti rezultate ovih izbora ili su ih neki uspjeli parcijalno predvidjeti je dobro pitanje, ali da bi se odgovorilo na njega potrebno je pogledati malo širu sliku. Krenemo li malo u ne tako davnu prošlost, prisjetit ćemo se američkih predsjedničkih izbora i brexita. To su primjeri dviju anketa, čiji pravi rezultat glasanja nitko nije uspio predvidjeti. Nitko nije davao Trumpu vjerojatnost da će pobijediti, svi su smatrali da će to biti Hillary. Isto tako bilo je za brexit. Još od tih anketa znanstvena akademija, pogotovo u Americi, isto tako profesori političkih i ekonomskih znanosti s kojima radim na Stanfordu, Princetonu i Yaleu, donijeli su zaključak da je potrebno revidirati postojeće alate ili uvesti neke nove alate procjene glasačkih preferencija.
Nedavno smo kolega Boris Podobnik, grupa američkih autora i ja radili istraživanje upravo o ispitivanju javnoga mišljenja o namjerama glasovanja gdje smo predvidjeli rast desnice u Europi. Još prije dvije godine predvidjeli smo rast Alternative für Deutschland u jednom od čitanijih članaka u tom časopisu gdje smo skupili sve ankete o namjerama glasanja iz preko 30 zemalja Europske unije i gledali smo kako ulazak migranata utječe na rast desnice. I tu smo već vidjeli da u puno anketa postoji pogreška. Za svaku zemlju analizirali smo po nekoliko anketa i tad smo već vidjeli da se i u drugim zemljama jako puno griješi, ne samo u Hrvatskoj.
Prvi problem kod anketa o namjerama glasanja je oblik pitanja. Recimo za brexit je puno lakše, načelno bi trebalo biti preciznije, pogoditi jer imate binarni izbor - da ili ne. Obično je na referendumskom obliku pitanja s ‘da‘ ili ‘ne‘ odgovorima puno lakše procijeniti rezultat jer ima manje opcija. Kako se broj opcija za izbor povećava, povećava se i moguća pogreška procjene i samim time je teže procijeniti. Da bi se to kvalitetno odradilo potrebno je uzeti jako puno parametara u obzir.
Prvo je tu metoda uzorkovanja i stratifikacija. Problem u klasičnim metodama uzorkovanja i nije toliko velik budući da za izradu uzorka već dugi niz godina postoji metodologija. Izabere se veličina uzorka i verificira se je li uzorak reprezentativan na način da prosječne karakteristike uzorka ne smiju statistički odudarati od cijele populacije, npr. da prosječna starost, spol i dr. u uzorku nije statistički različita od istih karakteristika u populaciji. Ovo je dosta lagan proces za odraditi na razini cijele zemlje. No, problem je u sljedećem koraku, a to je razina stratifikacije, znači kad krenete stratificirati uzorak.
Što je stratifikacija uzorka?
To je u principu korak u kojem dajete različiti ponder svakom strati ili svakom sloju. Postoje različiti modeli kako se strate i ponderi određuju, ali problem je što su različite metode dobre za različite uvjete, prostor i vrijeme.
Veliki problem u Hrvatskoj su i službene statistike, koje su katastrofalne. DZS, Ministarstvo Uprave i MUP bi trebali poraditi na ujedinjenom registru koji bi se osvježavao na dnevnoj bazi. Uzmite samo situaciju da su u većini zemalja referentne baze obično državni statistički uredi, a u RH zadnji popis stanovništva je bio 2011. I vi radite uzorkovanje u 2019. godini na podacima otprije 8 godina. No, čak na razini RH možda to i ne stvara toliki problem kod samog uzorkovanja, već stvara ogroman problem na nižim razinama kada se radi stratifikacija. U zadnjih 5 godina iz Hrvatske se odselio nekoliko stotina tisuća građana, tako da su određena mjesta opustošena više ili manje i ako radite uzorkovanje s krivim podacima, vaš uzorak na nižim razinama je u većini slučajeva nereprezentativan i samim time i loša procjena.
Sada je li to Božja providnost ili slučajnost da je HDZ izgubio mandate u procjeni upravo na problemima koje je sam stvorio i nije rješavao zadnjih godina, to ostavljam vama da procijenite.
Drugi dio problema je više filozofske prirode. Tko to uspije riješiti, mislim da će taj čovjek biti kandidat za Nobelovu nagradu.
Ako na uzorku od dvije tisuće ljudi dan prije izbora ispitujete za koga bi glasali da su danas izbori, ispitanici će reći kome bi dali svoj glas. Problem je što uzimate u obzir njihove preferencije, ali ono što trebate uzeti u obzir su njihove očekivane preferencije. To su preferencije koje ste vi licitirali, koje su oni vama rekli puta vjerojatnost izlaska jer vi ne znate tko će i kad će netko od tih ljudi od kojih uzimate uzorak doista i izaći na izbore.
Problem je kad se pri ovakvim anketama podrazumijeva da je vjerojatnost izlaska na izbore uniformna distribucija bez obzira na politički stav. To je netočno.
Na vjerojatnost izlaska na izbore će utjecati jako puno faktora. Primjerice, birači stranke na vlasti ‘po defaultu‘ misle da će njihova stranka pobijediti, dok glasačko tijelo stranke koja želi preuzeti vlast ima veću vjerojatnost izlaska na izbore. I to se treba ponderirati i s tim, što dosta anketa ne radi. Ima nekih koji to rade, ali kada to rade, rade to na krivi način. To je elementarni problem jer to nije uniformna distribucija, a mi u procjeni uzimamo da svi imaju jednaku vjerojatnost izlaska. Ono što je doista znanstveno dokazano da određene političke opcije imaju veću vjerojatnost izlaska na izbore.
Iskrenost odgovora u anketama
Sljedeći problem u anketama je truth telling, odnosno iskrenost. Moj kolega i koautor s Princetona u istraživanju je dokazao da što je stranka za koju ispitanik namjerava glasati ekstremnija, to je manja vjerojatnost da će u tim anketama otkriti svoje prave preferencije. To je potencijalno jedan od razloga zašto ankete vezane uz Ružu Tomašić i ultradesnicu nisu dobro pogođene jer kad osobe glasaju za ‘socijalno-osjetljive stranke’ koje su percipirane kao ekstremne u desnom ili lijevom spektru, u anketama se odlučuju za neku socijalno prihvatljiviju opciju. Možda je to jedan od razloga zašto su ankete za HDZ bile napuhane. Realno ne postoji metoda koja bi vama dala da pratite ljude prije i poslije ankete jesu li rekli istinu ili ne. Ne postoji jednostavno 100 posto precizna metoda za određivanje govori li netko istinu ili ne. I to je jedan problem koji se mora riješiti kada govorimo o tome kako mapiramo preferencije koje ljudi kažu u anketama prije izbora i rezultate samih izbora.
O crnom labudu...
Procjene kvazi stručnih ljudi koji su rezultate izbora proglasili crnim labudovima pokazuje kolika je razina obrazovanja i stručnosti tih ljudi jer Nicholas Taleb, koji je pisao o crnom labudu, napisao je jednu popularnu knjigu za široke mase koju nitko ozbiljan iz znanstvene zajednice ne čita. I ako se vi idete opravdavati s pričama da je to bio crni labud, to je neozbiljno. To je tzv. teorija ‘rare events‘ koja je neprimjenjiva u ovom slučaju jer nije jedan event doveo do loše procjene rezultata, već splet problema koji je duboko ukorijenjen u metodama uzorkovanja.
Utjecaj anketa na glasače
Recimo da se anketa o tome za koga će glasati provodi dan prije izbora, čak i u tih 24 sata se može dogoditi jako puno stvari jer ljudi nemaju stabilne političke preferencije. To je znanstveno dokazano i postoji takozvana ‘marginal voter theory‘. Čak u razvijenim demokracijama postoje znanstveni članci koji pokazuju utjecaj media biasa na političke preferencije. Najpoznatiji znanstveni rad u SAD-u je utjecaj konzervativnog Fox Newsa na glasove za republikance.
U razdoblju od 1996. do 2000. Fox News je uspio ‘uvjeriti’ od 3 do 28 posto svojih gledatelja da glasaju za republikansku stranku. U Hrvatskoj imamo sličan primjer, a to je HRT koji se koristi kao političko glasilo bez obzira je li HDZ ili SDP na vlasti.
Ljudi koji su na margini između glasanja i neglasanja ili glasanja i neglasanja za određenu opciju trebaju jako mali utjecaj da bi ih se gurnulo na jednu ili drugu stranu. To u principu političke stranke rade u svojim kampanjama da te marginalne glasače pokušavaju pridobiti s različitim pushevima - ideologijom, političkim, ekonomskim ciljevima, itd. I to je legitimno i dio političke utakmice. Ono što je veliki problem u Hrvatskoj je korištenje medija u osobne političke svrhe i sukobi interesa.
Standardna pogreška procjene
Da se vratimo na temu anketa. Kad se rade ti uzorci, oni su obično veličine od 1.000 do 1.500 ljudi. Standardna pogreška procjene uzorka kreće se od 2 do 5 posto. To je bitno napomenuti jer imate dvije stvari, tzv. interval pouzdanosti i preciznosti. Kad vam raste pouzdanost procjene, smanjuje se preciznost. I obrnuto. Kada imate standardnu pogrešku od recimo dva posto, to je +/-2 posto, što nitko od njih u anketama ne stavlja, oni bi je morali crtati. Znam da to nije praksa, ali ja to učim svoje studente na prvoj godini iz ekonometrije - kada crtate procijenjenu aritmetičku sredinu, vi morate znati koliki su intervali pouzdanosti.
To bi bilo točno kad bi procjena pogreške bila normalno distribuirana. To znači da koliko griješim u pozitivnom, toliko griješim u negativnom, ali u prosjeku griješim nula, što je netočno. Ima jako puno znanstvenih istraživanja koja pokazuju da pogreške nisu normalno distribuirane, ali to je generalni problem ekonometrije koju očigledno nitko ne rješava.
[caption id="attachment_386367" align="aligncenter" width="274"]
Normalna distribucija[/caption]
Ako pogledamo sve ankete koje su rađene, više-manje svi su malo precijenili HDZ, a podcijenili SDP.
Čak u tim anketama nisu problem te velike stranke jer ćete njih uvijek gađati. Problem je kad radite jedan takav uzorak gdje imate oko tisuće, tisuću i pol, dvije tisuće ljudi, da imate jako mali broj opservacija za male stranke. Ako imate jako puno ljudi koji su oko izbornog praga, oko 5-7 posto, i ako je vama procjena pogreške oko +/- 2 posto. Ako je osoba na 5 posto, uz interval pouzdanosti na dva posto, nije na 5 posto, već između 3 i 7 posto, a osoba koja je na 6, ona je u principu između 4 i 8 posto. Njihovi intervali pouzdanosti se preklapaju i vi ne možete odbiti hipotezu da se oni statistički razlikuju.
Mora se gledati interval pouzdanosti, a mi gledamo samo procijenjenu vrijednost aritmetičke sredine što je krivo.
To se radi samo zato da se narodu i masama pojednostavi, ali to nije poanta. Smisao znanstvenika i akademika je da educiramo, a ne da im pojednostavljujemo da oni lakše interpretiraju jer kad se ide raditi s lakšom interpretacijom, to se može zlouporabiti.
Ovo govorim čisto ne da se ne bi radile ankete, one bi se itekako trebale raditi, već da bi se otvoreno pričalo o problemima i metodologiji koja se koristi, da se vidi gdje je uzrok, koje su se metode koristile, koje su bile najbolje i da bi se u budućnosti mogla raditi bolja predikcija. A kao što sam već rekao, ako netko nađe novu metodologiju koja će biti jako precizna, to je ja mislim, u budućnosti sigurna Nobelova nagrada.
O predviđanjima...
Često me pitaju za kojekakva predviđanja. Jako često se radi o predviđanjima o BDP-u. Školujem se već 30 godina, prošao sam dva doktorata i dva magisterija, postdoktorand sam na Sveučilištu Princeton i još uvijek nisam dovoljno hrabar da bih radio predviđanja. Čak ni ljudi u Fedu ne rade predikcije tako da kažu koliki će biti BDP, nego stave određene okvire u kojima će se BDP kretati. Analize za Fed rade nobelovci s mog Princetona, s Harvarda i s drugih fakulteta. Javnosti nije jasno da je potrebno napraviti razliku između lokalnih i svjetskih doktora znanosti iz političkih ili ekonomskih znanosti. Recimo narodu je jasno kad gledaju igrače iz NK Šokadije Babine Grede i Luku Modrića da je Modrić bolji jer se kvaliteta može vidjeti na terenu. Ali s obzirom da ovdje ima puno varijabli koje odlučuju kvalitetu, ljudi danas imaju percepciju da je doktorat na Harvardu i Princetonu otprilike isto kao doktorat na Sveučilište u Zagrebu, ali nažalost nije. Sveučilište u Zagrebu nije po nekim ljestvicama u top 500 i/ili 1000.
Smatram da je odgovornost nas ekonomista koji se bave ekonometrijom, da izvadimo tu prijevaru iz ekonometrije (op. a. e-con-o-metrics - con znači prijevara), da ljudi ne koriste ekonometrijske metode kako bi utjecali na nečija mišljenja ili da se utječe na ispravan način.