Reprezentativitate și exactitate, sau despre căutarea punctului G pe întuneric

Una din întrebările pe care le primim mereu la adresa sondajelor noastre este “e eșantionul reprezentativ?”

Sînt două cazuri mai frecvente în care ni se pune această întrebare.

În cel mai fericit caz, atunci cînd vine vorba despre maniera de culegere a datelor, pentru că în ultimul timp noi ne-am focalizat preponderent pe culegerea telefonică a datelor.

Cînd interlocutorii (clienții, politicieni, formatori de opinie, alți soldați și figuranți) află că sondajul e realizat telefonic, imediat se trezește metodologul feroce din ei. Pentru că, nu-i așa?, după cum știm, toată lumea se pricepe la folbal, politică, sondaje de opinie și la găsirea pe întuneric a punctului G.

Și atunci, pentru că se pricep cu toții la sondaje, imediat ridică cunoscători din sprînceană, disprețuitori și nemuritori și scîrboși și reci, și conchid cu un aer demn de Bruce Lee, de Chuck Norris sau de Cosmin Gușă în zilele lor cele bune: nu e bun sondajul! nu e reprezentativ!

Asta evident însă că nu-i împiedică să ia în considerare rezultatele sondajului și evident că se întîmplă doar cînd nu le convin rezultatele, dacă sînt parte implicată direct, ori cînd contravin contracepțiilor lor despre lume și viață.

Pentru că ei oricum știu tot ce mișcă pe lumea asta, nici n-aveau nevoie de fapt să afle rezultatul sondajului că oricum știau cum stau lucrurile acolo, de fapt a făcut și Marius Pieleanu un sondaj recent, dar în teren, care are cu totul alte rezultate, deci...

Deci noroc că ne pricepem toți la sondaje.

Buuun. Asta este o discuție pentru alt articol, chestia asta cu culegerea telefonică a datelor. Acum să ne aplecăm asupra celui de-al doilea tip de situație des întîlnită privind îndoiala critică descartiană la adresa reprezentativității sondajelor.

E vorba despre situația cînd interlocutorul ridică din sprînceană la adresa volumului eșantionului.

Cuuuum? Doar 700 de cazuri? Păi nu mai e reprezentativ, coane! Habar n-aveți să faceți sondaje! Sînteți varză! Mă și mir că mai stau de vorbă cu voi! Mă duc la Dîncu, la Pieleanu, să ne dea ei niște sondaje cu adevărat adevărate, cele mai foarte adevărate! Știam eu de ce nu aveam de gînd să vă plătesc...

Buun. În mintea omului priceput la sondaje și la găsirea punctului G pe întuneric s-a înfipt bine de tot, precum lancea în coasta Răstignitului, ideea că orice eșantion sub 1,000 de cazuri este nașpa, nasol, nereprezentativ și că rezultatele sondajului sînt nule, neavenite și nu merită să fie luate în considerare.

Dacă eșantionul este de 1,001 cazuri, e foarte bine. Ar fi de preferat să fie de 1,200, că așa știm noi, că 1,200 e un număr magic, dar merge și 1,000. Însă 999, ferească sfîntul!

Cuuum? Începe cu 9?? Dumnezeule, aruncă-l la coș! Yuk! Cîh! Cîîîît? 950. Absolut inutil. Pierdere de timp. Cîîîît? 850? Oribil! Dă banii înapoi! Ba nu: să mă plătești tu din buzunar, sociologule, că-mi pierd vremea cu de-alde dăștia ca voi.

E un reper simbolic bine înfipt în mintea oamenilor, mia asta de cazuri. Vorbește despre puterea stereotipului, a lucrurilor puține, dar prost înțelese, a sfertodoctismului care ne guvernează mințile, alături de magie și alcool.

În asemenea cazuri, lumea, specialiștii în sondaje și în punctul G pe întuneric fac confuzia între două concepte distincte: cel de reprezentativitate și cel de exactitate.

Ele sînt autonome. Poți să ai date reprezentative, dar nu prea exacte. Eșantionul a fost construit cum trebuie, dar alas! dommage! vai vai vai! a fost prea mic. Și știm că ce-i prea mic nu e prea mare și nu bun, nu bun deloc. Small is nașpa, Big is better.

Dar poți să ai și eșantioane nereprezentative care, ghinion de întîmplare, să-ți iasă în mod paradoxal exacte. Greu de atins această situație, dar se poate întîmpla.

În general, greșeala care se comite în mințile celor care se pricep atît la sondajele de opinie, cît și la sondarea punctului G pe întuneric este să confunde mărirea cu priceperea. Un obicei prost care se datorează cel mai probabil obsesiei pentru punctul G și alte părți anatomice înrudite. Ei cred că cu cît mai mare, cu atît mai bun. Nope. Greșeală. Mare greșeală.

După cum învățați din orice manual de kamasutra cu poze, nu dimensiunea contează, ci tehnica.

Poți să ai un plăvan de eșantion de jde mii de cazuri care însă să fie ales absolut vraiște și aiurea și să-ți dea în consecință niște date absolut neadevărate. Adică niște statistici biasate, niște estimări pe bază de eșantion care nu corespund cu valorile din întreg universul, ca să vorbim ca la cartea plictisitoare de statistică.

Să mă explic.

Vă povesteam mai deunăzi că omul, maimuță primată orientată preponderent dupe simțul vizual, că așa ne-am crescut noi în pădurile primordiale din care ne-am desprins acum aprox. 1-2 milioane de ani, este foarte receptiv la analogiile vizuale.

Păi să facem analogii vizuale.

Să zicem că vrem să aflăm tot soiul de lucruri despre orașul Caracal. Dar n-avem nici bani, nici dispoziție, nici timp să mergem noi să vedem personal cum stau lucrurile în acel oraș.

Atunci luăm una bucată studențache, îi punem una bucată fișic bani în mînă, alături de una bucată săpunieră aparat foto de-ăla eftin, da’ bun, push dă batăn, colorata mîine-i gata, și-i dăm ordin pe unitate: strălucitorule, ia niște bani de-aici, mergi la Caracal, fă poze și adu-le încoace să aflăm cum arată orașul ăsta!

Pleacă studentul și face poze. În funcție de predispoziția sa pentru frumos, pentru artă, pentru craci, pentru bere, pentru arhitectură, pentru antropologie, pentru tehnică și telecomunicații, mă rog, în funcție de cum îl taie pe el capul, face un decupaj din realitatea complecsă numită orașul Caracal, face tot soiul de poze și se întoarce să vă povestească în imagini cum este acel oraș.

Și cînd colo, ce să vezi?

Studentul nostru, obsedat de secs și de bere, a făcut doar poze de poponețe de caracalence și de halbe de bere, unele pline, altele goale! A făcut mii de poze, pentru că sînt totuși mii de funduri apetisante în Caracalul ăla, cît și mii de ocazii de băut bere, a venit cu ditamai eșantionul de poze din care rezultă că orașul Caracal este o încrucișare între crîșmă și sex shop!

Ce s-a întîmplat? N-a construit eșantionul reprezentativ.

N-a făcut poze și la acoperișuri, și la brutăria din colț, și la copiii care ies la prînz de la școală, și la gropile din asfalt, și la băbuțele care merg la biserică, și la cocoșul de pe gard, și la autobuzul ruginit care face legătura cu satele dimprejur, și la șeful de gară, și la fochistul de la primărie. Mă rog, n-a făcut poze la muuuulte chestii, el avînd altele în cap, cum au de regulă studenții: sex și bere, în ce ordine vreți voi.

Dacă i-am fi spus: coane, mergi matale din centru spre periferie, întîi pe strada Învierii, unde e cimitirul, apoi pe strada Libertății, unde e pușcăria, și din 30 în 30 de secunde îndrepți aparatul la stînga, înainte și la dreapta și faci trei poze la nivelul pieptului, atunci poate-poate am fi avut o idee ceva mai bună, mai validă, despre cum arată Caracalul de fapt.

Dacă îi dădeam o regulă care să-i neutralizeze predispozițiile de selecție erotico-lichide, atunci poate în pozele noastre prindeam și babele ieșind de la biserică, și copiii ieșind de la școală, și brutarul care vindea pîinea cea caldă, și șeful de gară care saluta cu ambîț mîndru trenul care trece.

Asta-i reprezentativitatea. Eșantionul tău să semene cu universul. Dar nu e suficientă reprezentativitatea pentru a obține informație validă. E nevoie și de reprezentativitate, și de volum.

Dacă studentul nostru asculta de sfaturile de făcut poze, dar făcea doar 10 poze, tot nu era de ajuns. Nu prindea tot Caracalul în toată complexitatea sa. N-avea timp să ajungă și în cartierul de blocuri, să pozeze rufele întinse la uscat. Făcea eventual doar poze în zona centrală, că atîta film a avut în aparat.

Dacă făcea 50 de poze, începeam să avem o imagine oarecum vagă a lucrurilor din Caracal, dar tot limitată. Dacă făcea 200 de poze, parcă-parcă începeam să ne dăm seama despre Caracal. Dacă făcea 1000 de poze, deja începeam să avem redundanță în informație.

Dar dacă îl lăsam de capul lui și făcea 1000 de poze după cum îl tăia pofta, era foarte posibil să vină cu 700 de poze de fundulețe apetisante, cu 299 de poze cu halbe de bere și cu o poză a șefului gării stînd de vorbă cu casierița, care ia uite ce piept generos are. Volumul eșantionului era suficient, însă nu reprezentativ. Mai bine 500 de poze făcute metodic, cu perseverență și fără biasare, decît 1000 de poze făcute de-a-n boulea.

Aici e diferența, dragi pricepuți într-ale sondajelor și găsitului punctului G pe întuneric. Reprezentativitatea este despre cum faci eșantionul. Exactitatea este despre combinația dintre reprezentativitate și volum.

Poți să ai un eșantion de 10,000 de cazuri ales prost și să obții informație falsă (vezi vestitul exemplu al sondajului Reader’s Digest din anii 30, moment care a marcat începutul institutului Gallup în Statele Unite).

Poți să ai un eșantion de 1 caz, ales la întîmplare, care e foarte reprezentativ, dar care are o marjă de +/- 100%.

Poți să ai, dintr-o întîmplare, și un eșantion de 37 de cazuri care să-ți estimeze suficient de bine distribuția din total univers. Exactitate fără reprezentativitate. Se poate, dar e la ghici. Fără regulă, nesistematic. Noroc.

La rigoare, dacă ai un univers lipsit de variație, e suficient și un eșantion de un caz (vezi exemplul din articolul anterior cu poza albastră a cerului senin – e de ajuns un pixel pentru a trage concluzii despre ea).

Dar de regulă un volum mai mic nu înseamnă că eșantionul își pierde brusc și dintr-o dată reprezentativitatea, ca prin magie, 1000 de cazuri sînt reprezentative, 999 gata nu mai sînt.

Ci pur și simplu că există o scădere graduală de exactitate, o scădere non-liniară, dată aproximativ de formula (+/-) 1 / (radical (volum eșantion)), care ne arată că pierderile cele mai dureroase de exactitate sînt în zona 200 – 500 de cazuri și că, din fericire, de pe la vreo 500 – 600 – 700 de cazuri încolo variația marjei de eroare este din ce în ce mai mică, asimptotică, lentă, leneșă și convergentă, după cum puteți vedea și în imaginea de mai jos.

Calculul marjei de eroare
aferentă diverselor niveluri de probabilitate apriorică
(distribuții binomiale)




În consecință, mai bine un eșantion mai mic, dar bine ales decît unul mare, ditamai mătărînga de eșantion, dar bleg și biasat. C-așa-i în sondaje, ca și la căutarea punctului G pe întuneric: contează mai mult tehnica decît dimensiunea, mai mult priceperea decît mărimea.

Small is better sometimez... :)




.