joi, 31 mai 2012

Reprezentativitate și exactitate, sau despre cǎutarea punctului G pe întuneric

Una din întrebǎrile pe care le primim mereu la adresa sondajelor noastre este “ e eșantionul reprezentativ?”

Sînt douǎ cazuri mai frecvente în care ni se pune aceastǎ întrebare.

În cel mai fericit caz, atunci cînd vine vorba despre maniera de culegere a datelor, pentru cǎ în ultimul timp noi ne-am focalizat preponderent pe culegerea telefonicǎ a datelor.

Cînd interlocutorii (clienții, politicieni, formatori de opinie, alți soldați și figuranți) aflǎ cǎ sondajul e realizat telefonic, imediat se trezește metodologul feroce din ei. Pentru cǎ, nu-i așa?, dupǎ cum știm, toatǎ lumea se pricepe la folbal, politicǎ, sondaje de opinie și la gǎsirea pe întuneric a punctului G.

Și atunci, pentru cǎ se pricep cu toții la sondaje, imediat ridicǎ cunoscǎtori din sprînceanǎ, disprețuitori și nemuritori și scîrboși și reci, și conchid cu un aer demn de Bruce Lee, de Chuck Norris sau de Cosmin Gușǎ în zilele lor cele bune: nu e bun sondajul! nu e reprezentativ!

Asta evident însǎ cǎ nu-i împiedicǎ sǎ ia în considerare rezultatele sondajului și evident cǎ se întîmplǎ doar cînd nu le convin rezultatele, dacǎ sînt parte implicatǎ direct, ori cînd contravin contracepțiilor lor despre lume și viațǎ.

Pentru cǎ ei oricum știu tot ce mișcǎ pe lumea asta, nici n-aveau nevoie de fapt sǎ afle rezultatul sondajului cǎ oricum știau cum stau lucrurile acolo, de fapt a fǎcut și Marius Pieleanu un sondaj recent, dar în teren, care are cu totul alte rezultate, deci...

Deci noroc cǎ ne pricepem toți la sondaje.

Buuun. Asta este o discuție pentru alt articol, chestia asta cu culegerea telefonicǎ a datelor. Acum sǎ ne aplecǎm asupra celui de-al doilea tip de situație des întîlnitǎ privind îndoiala criticǎ descartianǎ la adresa reprezentativitǎții sondajelor.

E vorba despre situația cînd interlocutorul ridicǎ din sprînceanǎ la adresa volumului eșantionului.

Cuuuum? Doar 700 de cazuri? Pǎi nu mai e reprezentativ, coane! Habar n-aveți sǎ faceți sondaje! Sînteți varzǎ! Mǎ și mir cǎ mai stau de vorbǎ cu voi! Mǎ duc la Dîncu, la Pieleanu, sǎ ne dea ei niște sondaje cu adevǎrat adevǎrate, cele mai foarte adevǎrate! Știam eu de ce nu aveam de gînd sǎ vǎ plǎtesc...

Buun. În mintea omului priceput la sondaje și la gǎsirea punctului G pe întuneric s-a înfipt bine de tot, precum lancea în coasta Rǎstignitului, ideea cǎ orice eșantion sub 1,000 de cazuri este nașpa, nasol, nereprezentativ și cǎ rezultatele sondajului sînt nule, neavenite și nu meritǎ sǎ fie luate în considerare.

Dacǎ eșantionul este de 1,001 cazuri, e foarte bine. Ar fi de preferat sǎ fie de 1,200, cǎ așa știm noi, cǎ 1,200 e un numǎr magic, dar merge și 1,000. Însǎ 999, fereascǎ sfîntul!

Cuuum? Începe cu 9?? Dumnezeule, aruncǎ-l la coș! Yuk! Cîh! Cîîîît? 950. Absolut inutil. Pierdere de timp. Cîîîît? 850? Oribil! Dǎ banii înapoi! Ba nu: sǎ mǎ plǎtești tu din buzunar, sociologule, cǎ-mi pierd vremea cu de-alde dǎștia ca voi.

E un reper simbolic bine înfipt în mintea oamenilor, mia asta de cazuri. Vorbește despre puterea stereotipului, a lucrurilor puține, dar prost înțelese, a sfertodoctismului care ne guverneazǎ mințile, alǎturi de magie și alcool.

În asemenea cazuri, lumea, specialiștii în sondaje și în punctul G pe întuneric fac confuzia între douǎ concepte distincte: cel de reprezentativitate și cel de exactitate.

Ele sînt autonome. Poți sǎ ai date reprezentative, dar nu prea exacte. Eșantionul a fost construit cum trebuie, dar alas! dommage! vai vai vai! a fost prea mic. Și știm cǎ ce-i prea mic nu e prea mare și nu bun, nu bun deloc. Small is nașpa, Big is better.

Dar poți sǎ ai și eșantioane nereprezentative care, ghinion de întîmplare, sǎ-ți iasǎ în mod paradoxal exacte. Greu de atins aceastǎ situație, dar se poate întîmpla.

În general, greșeala care se comite în mințile celor care se pricep atît la sondajele de opinie, cît și la sondarea punctului G pe întuneric este sǎ confunde mǎrirea cu priceperea. Un obicei prost care se datoreazǎ cel mai probabil obsesiei pentru punctul G și alte pǎrți anatomice înrudite. Ei cred cǎ cu cît mai mare, cu atît mai bun. Nope. Greșealǎ. Mare greșealǎ.

Dupǎ cum învǎțați din orice manual de kamasutra cu poze, nu dimensiunea conteazǎ, ci tehnica.

Poți sǎ ai un plǎvan de eșantion de jde mii de cazuri care însǎ sǎ fie ales absolut vraiște și aiurea și sǎ-ți dea în consecințǎ niște date absolut neadevǎrate. Adicǎ niște statistici biasate, niște estimǎri pe bazǎ de eșantion care nu corespund cu valorile din întreg universul, ca sǎ vorbim ca la cartea plictisitoare de statisticǎ.

Sǎ mǎ explic.

Vǎ povesteam mai deunǎzi cǎ omul, maimuțǎ primatǎ orientatǎ preponderent dupe simțul vizual, cǎ așa ne-am crescut noi în pǎdurile primordiale din care ne-am desprins acum aprox. 1-2 milioane de ani, este foarte receptiv la analogiile vizuale.

Pǎi sǎ facem analogii vizuale.

Sǎ zicem cǎ vrem sǎ aflǎm tot soiul de lucruri despre orașul Caracal. Dar n-avem nici bani, nici dispoziție, nici timp sǎ mergem noi sǎ vedem personal cum stau lucrurile în acel oraș.

Atunci luǎm una bucatǎ studențache, îi punem una bucatǎ fișic bani în mînǎ, alǎturi de una bucatǎ sǎpunierǎ aparat foto de-ǎla eftin, da’ bun, push dǎ batǎn, colorata mîine-i gata, și-i dǎm ordin pe unitate: strǎlucitorule, ia niște bani de-aici, mergi la Caracal, fǎ poze și adu-le încoace sǎ aflǎm cum aratǎ orașul ǎsta!

Pleacǎ studentul și face poze. În funcție de predispoziția sa pentru frumos, pentru artǎ, pentru craci, pentru bere, pentru arhitecturǎ, pentru antropologie, pentru tehnicǎ și telecomunicații, mǎ rog, în funcție de cum îl taie pe el capul, face un decupaj din realitatea complecsǎ numitǎ orașul Caracal, face tot soiul de poze și se întoarce sǎ vǎ povesteascǎ în imagini cum este acel oraș.

Și cînd colo, ce sǎ vezi?

Studentul nostru, obsedat de secs și de bere, a fǎcut doar poze de poponețe de caracalence și de halbe de bere, unele pline, altele goale! A fǎcut mii de poze, pentru cǎ sînt totuși mii de funduri apetisante în Caracalul ǎla, cît și mii de ocazii de bǎut bere, a venit cu ditamai eșantionul de poze din care rezultǎ cǎ orașul Caracal este o încrucișare între crîșmǎ și sex shop!

Ce s-a întîmplat? N-a construit eșantionul reprezentativ.

N-a fǎcut poze și la acoperișuri, și la brutǎria din colț, și la copiii care ies la prînz de la școalǎ, și la gropile din asfalt, și la bǎbuțele care merg la bisericǎ, și la cocoșul de pe gard, și la autobuzul ruginit care face legǎtura cu satele dimprejur, și la șeful de garǎ, și la fochistul de la primǎrie. Mǎ rog, n-a fǎcut poze la muuuulte chestii, el avînd altele în cap, cum au de regulǎ studenții: sex și bere, în ce ordine vreți voi.

Dacǎ i-am fi spus: coane, mergi matale din centru spre periferie, întîi pe strada Învierii, unde e cimitirul, apoi pe strada Libertǎții, unde e pușcǎria, și din 30 în 30 de secunde îndrepți aparatul la stînga, înainte și la dreapta și faci trei poze la nivelul pieptului, atunci poate-poate am fi avut o idee ceva mai bunǎ, mai validǎ, despre cum aratǎ Caracalul de fapt.

Dacǎ îi dǎdeam o regulǎ care sǎ-i neutralizeze predispozițiile de selecție erotico-lichide, atunci poate în pozele noastre prindeam și babele ieșind de la bisericǎ, și copiii ieșind de la școalǎ, și brutarul care vindea pîinea cea caldǎ, și șeful de garǎ care saluta cu ambîț mîndru trenul care trece.

Asta-i reprezentativitatea. Eșantionul tǎu sǎ semene cu universul. Dar nu e suficientǎ reprezentativitatea pentru a obține informație validǎ. E nevoie și de reprezentativitate, și de volum.

Dacǎ studentul nostru asculta de sfaturile de fǎcut poze, dar fǎcea doar 10 poze, tot nu era de ajuns. Nu prindea tot Caracalul în toatǎ complexitatea sa. N-avea timp sǎ ajungǎ și în cartierul de blocuri, sǎ pozeze rufele întinse la uscat. Fǎcea eventual doar poze în zona centralǎ, cǎ atîta film a avut în aparat.

Dacǎ fǎcea 50 de poze, începeam sǎ avem o imagine oarecum vagǎ a lucrurilor din Caracal, dar tot limitatǎ. Dacǎ fǎcea 200 de poze, parcǎ-parcǎ începeam sǎ ne dǎm seama despre Caracal. Dacǎ fǎcea 1000 de poze, deja începeam sǎ avem redundanțǎ în informație.

Dar dacǎ îl lǎsam de capul lui și fǎcea 1000 de poze dupǎ cum îl tǎia pofta, era foarte posibil sǎ vinǎ cu 700 de poze de fundulețe apetisante, cu 299 de poze cu halbe de bere și cu o pozǎ a șefului gǎrii stînd de vorbǎ cu casierița, care ia uite ce piept generos are. Volumul eșantionului era suficient, însǎ nu reprezentativ. Mai bine 500 de poze fǎcute metodic, cu perseverențǎ și fǎrǎ biasare, decît 1000 de poze fǎcute de-a-n boulea.

Aici e diferența, dragi pricepuți într-ale sondajelor și gǎsitului punctului G pe întuneric. Reprezentativitatea este despre cum faci eșantionul. Exactitatea este despre combinația dintre reprezentativitate și volum.

Poți sǎ ai un eșantion de 10,000 de cazuri ales prost și sǎ obții informație falsǎ (vezi vestitul exemplu al sondajului Reader’s Digest din anii 30, moment care a marcat începutul institutului Gallup în Statele Unite).

Poți sǎ ai un eșantion de 1 caz, ales la întîmplare, care e foarte reprezentativ, dar care are o marjǎ de +/- 100%.

Poți sǎ ai, dintr-o întîmplare, și un eșantion de 37 de cazuri care sǎ-ți estimeze suficient de bine distribuția din total univers. Exactitate fǎrǎ reprezentativitate. Se poate, dar e la ghici. Fǎrǎ regulǎ, nesistematic. Noroc.

La rigoare, dacǎ ai un univers lipsit de variație, e suficient și un eșantion de un caz (vezi exemplul din articolul anterior cu poza albastrǎ a cerului senin – e de ajuns un pixel pentru a trage concluzii despre ea).

Dar de regulǎ un volum mai mic nu înseamnǎ cǎ eșantionul își pierde brusc și dintr-o datǎ reprezentativitatea, ca prin magie, 1000 de cazuri sînt reprezentative, 999 gata nu mai sînt.

Ci pur și simplu cǎ existǎ o scǎdere gradualǎ de exactitate, o scǎdere non-liniarǎ, datǎ aproximativ de formula (+/-) 1 / (radical (volum eșantion)), care ne aratǎ cǎ pierderile cele mai dureroase de exactitate sînt în zona 200 – 500 de cazuri și cǎ, din fericire, de pe la vreo 500 – 600 – 700 de cazuri încolo variația marjei de eroare este din ce în ce mai micǎ, asimptoticǎ, lentǎ, leneșǎ și convergentǎ, dupǎ cum puteți vedea și în imaginea de mai jos.

Calculul marjei de eroare
aferentǎ diverselor niveluri de probabilitate aprioricǎ
(distribuții binomiale)





În consecințǎ, mai bine un eșantion mai mic, dar bine ales decît unul mare, ditamai mǎtǎrînga de eșantion, dar bleg și biasat. C-așa-i în sondaje, ca și la cǎutarea punctului G pe întuneric: conteazǎ mai mult tehnica decît dimensiunea, mai mult priceperea decît mǎrimea.

Small is better sometimez... :)




.

6 comentarii:

ZaffCat spunea...

Erotica :-)
http://www.flickr.com/photos/peopleofplatt/4584327237

ipo spunea...

Poate intr-un post viitor ne explici si care este povestea cu "nivelul de incredere", ce naiba mai e si ala si cat conteaza in rezultatele finale. Eu am inteles ca nivelul de incredere se refera la reprezentativitatea esantionului, dar nu pricep cum se leaga de marja de eroare, si cum compun ele doua rezultatul bun sau prost al cercetarii.

PS: aia cu alegerile din 36 era Literary Digest. :)

Turambar spunea...

lol. buna propunere. pe scurt, pina scriu articolul: pe termen lung, in medie, cele mai multe sondaje sint suficient de exacte. Adica un procent f mare (95% = nivelul de incredere) din sondaje au o marja de eroare cel mult aia teoretica, de +/- comunicata. Deci 95 sondaje din 100 facute in aceleasi conditii (perioada, metoda de culegere a datelor, intrebari) dau date suficient de bune, un compromis ok calitate / pret. Ce nu spun in general sociologii si statisticienii este ca restul de 5% sondaje sint mai varza decit ar fi cazul, chiar daca faci restul de treaba absolut ok. Nu e vina ta, e a intimplarii. Adica te risti 5% sa fii aiurea cu rezultatele, oricit de bine ti-ai face treaba.

Dar asta sa nu mai spui la nimeni. Macar pina scriu articolul incriminator care sa scoata de maniera SENZATIONALA in evidenta limitarile cercetarii prin esantion. SENZATIONAL! SONDAJELE MINTE 5%! SENZATIONAL! DOAR PE BLOGUL TURAMBAR! ADEVARUL ADEVARAT DESPRE ACESTI NEMERNICI DE MANIPULATORI SI PULATORI! DOAR PE TURAMBAR! VOTATI IN SONDAJUL NOSTRU!

serban spunea...

"Ce nu spun in general sociologii si statisticienii este ca restul de 5% sondaje sint mai varza decit ar fi cazul"
Atentie: ar trebui sa vorbim de variabile nu de sondaj in ansamblu. Un sondaj are mai multe intrebari sau variabile de cercetare... probabilitatea ca TOATE variabilele dintr-un sondaj sa se afle in afara nivelului de incredere de 95% este infima (la un chestionar de 20 de intrebari probabilitatea este 0.00..(in total 26 de 0)95 :)

shepticu' spunea...

Coane', stie baiatu' ca matale a facut facultate, da' aia de acolo e politicieni (vezi Andronescu, Beuran, Udrea) si minte toti.
Cu alte cuvinte, de ce te-as crede eu, priceput la fotbal, politica, sondaje si gasirea punctului G, ca distributia e binomiala? Daca e hipergeometrica? De unde stie matale ca exista inlocuitor la fiecare "sample" pe care il iei? Heck, poate oricum ne mint toti, si de fapt e vorba de o distributie Rayleigh :D

Doi la mana. De unde stiu io, ca Toma Credinciosu' ce ma aflu, ca matale le zici studentilor sa faca poze cu aparatu' la piept, si mergand de in spirala din centru spre exteriorul Caracal-ului? Poate ca matale, care ai traiat toata viata la Campulung, le zici "da-te jos la intrarea in oras, o iei drept inainte, te opresti la fiecare 100 pasi si faci 3 poze stanga/fata/dreapta, pana ti se termina spatiul de pe card". Chiar daca le dai carduri de 1Gb sa faca 'jdemii de poze.... s-ar putea ca studentii aia sa ajunga sa pozeze pana in Slatina, da' sa nu pozeze tot Caracalu' (e.g. sa n-aiba nici o poza din Bold).

laurentiucat spunea...

tot poza cu fundu gagicii e mai tare...
mai ai poze cu ea? profil,fata...