vineri, 26 februarie 2010

De-aia n-are ursu coadă, ca i-a fost sondată CATI

Acum cîteva zile, nu mai știu în care context, mi-am adus aminte de puternica reticență pe care atît clienții, cît și alte persoane semnificative, hai să le numim “formatori de opinie într-ale profesiei”, o arătau la adresa sondajelor realizate pe telefon. Vestitele CATI (Computer Assisted Telephone Interview).

Doamne, cîtă ură și cîtă scîrbă și cît dispreț și reticență și reluctanță (știți cuvîntul ăsta? nu? hai, nu zău? uite, îl inventăm acum) au putut să guste urechile mele începînd de acum vreo doi-trei ani, de cînd ne-am apucat încetul cu încetul să facem (și) sondaje telefonice. Nu sunt bune! Nu vă pricepeți! România nu este pregătită pentru așa ceva! Eșantionul nu e reprezentativ! Eșantionul nu are cum să fie reprezentativ! Datele sunt aiurea! Prea puțini au telefon fix! Și eu, și soacră-mea, și cumnată-miu au renunțat la fix. Pe mine nu mă prindeți în eșantion. Cum să am încredere în ele? Neeah. Vreau pe teren. Cît mă costă? Cîîîîît? N-am atîți bani. Am doar…

Mda. Cîte au putut să ne audă urechile. Ce vremuri. Ce cîrcoteli. Ce rezistență la schimbare, ca să folosim termeni de psihanaliză de șanț. Nimeni nu vroia să țină seama de beneficiile metodei: rapiditate, cost semnificativ mai scăzut, coroborare între datele F2F (Face To Face, adică teren) și cele CATI. Toți se zburleau și-și dădeau frica și neîncrederea pe față. Neah. Nu e bun. Cîh!

Această atitudine venea atît din partea clienților, care nu erau obișnuiți și, în consecință, nu aveau încredere în noua metodă, dar era copios alimentată și de o seamă de practicieni mai mult sau mai puțin consacrați, care puneau vîrtos la îndoială și le înfierau cu aprigă indignare, din motive mai mult sau mai puțin cușer. Ei cu gura ziceau solemn de validitate, dar de fapt, în inima lor pecuniară, îi durea de cașcavalitate. Pentru că veneau unii noi care făceau sondaje mai eftine și le luau din felia de cașcaval de slice de market șer de sub nas. Și atunci establijații, pentru a-și proteja biznisul, își foloseau influența și credibilitatea construită de-a lungul anilor de relație strînsă cu clienții și cu presa pentru a zvîrli tone de umbră de îndoială asupra noii metode care le făcea concurență. Nu sunt bune sondajele telefonice. Nu se poate asigura reprezentativitatea. Sunt diferențe prea mari. România nu e Statele Unite sau Franța.

Și tot așa.

Uite că în cîțiva ani, totuși, rezistența la adresa lor a început încet încet să fie depășită. Testele prin care au trecut sondajele telefonice, comparația dintre estimare și realitate, dintre sondajele pre-electorale și rezultatul alegerilor, au arătat că putem să ne bazăm pe ele, că sunt valide. Exemplul cel mai recent este cel de la alegerile prezidențiale, cînd am făcut – nu numai noi, multe institute de cercetare - atît sondaje telefonice cît și în teren, în practic același timp, iar rezultatele s-au dovedit asemănătoare, insterschimbabile, în marja de eroare. Sau cînd rezultatele sondajelor telefonice de chiar dinaintea alegerilor (făcute vineri-sîmbătă) s-au pupat cu cele oficiale, de la urne. Dar reticența a rămas, născută de apriga contestare inițială.

Ei bine, în acest context de atitudine cvasi-turbată la adresa sondajelor telefonice, ce ne văd urechile? Ce ne aud ochii? Ce ne suportă creierul profesional? Unul din contestatarii acestui tip de sondaje din rîndul profesiei, Vasile Dîncu, face sondaje telefonice. Whaaat??? Care va să zică acum cîtva timp nu erau bune, că erau făcute de alții, dar acum, dintr-o dată, sunt, că sunt făcute de Dvs.? Whaaat???! Păi să nu dai cu eșantionul de pămînt și să nu te apuci să zici vreo două de probabilitate pe blog? Ceea ce, după cum vedeți, chiar și fac, că prea d-aia n-are ursu coadă.

Scriu aceste rînduri de răutăcism profesional ca urmare a unei discuții telefonice în care un prieten, și el în branșă, îmi povestea amuzat cum un alt prieten (da, lanțul slăbiciunilor) din zona politicii locale îl întreba pe Dîncu cum e dom’le cu sondajele astea telefonice de acum un an de zile cînd vi le arătam și ziceați ca sînt nașpa și nasoale și necredibile, că nu sunt bune de nimic, ca sînt telefonice, iar acum dintr-o dată sunt nemaipomenit de foarte bune și de valide și de utile și de bune de dat la presă, că sunt făcute de Dvs.? Măi să fie...

Drept pentru care, pe jumătate amuzat și pe jumătate indignat, dau grabă să mînzgălesc blogul cu vorbe otrăvite și potrivite și necesare, întru înfierarea sociologilor colegi de breaslă care, o dată intrați în politică, încep să capete relele deprinderi ale acestei profesii: azi zici una, mîine zici fics pe dos, cu cea mai nevinovată și sigură și serioasă față posibilă.

Și ridic această cupă de ceai verde fără alcool, dar amar ca viața, și declar solemn că Liviu merită din partea mea toată stima, tot respectul, cît și o sticlă de whisky cu conținut ridicat de alcool pentru necesara admonestare pe care i-a administrat-o sociologului degrabă schimbător la nărav și la metoda de sondare.

12 comentarii:

matusalem spunea...

Pai da! Ca nu puteai sa-i spui omeneshte rezistentza. Nu. Reluctantza.
Ca citii Dincu si ma gandii la voma.
Da voma nu e reluctantza. Pacat.
Ca-i dadeam lui Dincu nishte recluctantze...

explorish spunea...

cati, necati... cum era aia a' lu' churchill cu "Never trust any statistics that you didn’t forge yourself"? ;).

de fapt, se pare ca nu e a lui churchill.

Camil Stoenescu spunea...

în opinia mea de nesociolog eu aș zice că sondajele CATI pot fi chiar mai precise decât cele face-to-face dintr-un motiv foarte simplu: omul e mai degajat și tinde să fie mai sincer decât dacă e întrebat live, în a doua situație intervenind și conformismul social, ezitările, dorința de a da un răspuns „cum trebuie” etc

Anonim spunea...

si oricum la cat ciordesc operatorii...clar este mai bine CATI.

Anca spunea...

Ashea, maica, nu te lasa, nu te lasa! Zi-le de sanatate si injura-i de Coloana infinitei ipocrizii, ca astia ne fac de mandra minune, mama ei de treaba.
Am sa ma dedau candva la o scriitura patriotica:
Rezistenta la schimbare
si predispozitia la schimbism
.

(Doamne miluieste de trei ori.)

Tapirul spunea...

acu' depinde bre de ce eşantion ai nevoie, şi ce se potriveşte unde.
dacă vrei să faci un studiu sociologic pe teens, nu prea îi prinzi cu telefonu' fix...e ş'un spurios effect aici (ca la îngheţata chicagoană), un anumit profil au şi telefon fix şi se duc şi la vot.

nu zic că ăia au dreptate când înfierează CATI nediscriminat (nu mai zic că după aia nu le mai pute), da' sunt probleme şi cu CATI.

e, zic şi io să fiu oleacă gică contra

Anonim spunea...

de fapt, singura limitare este data de domeniu : nu prea merge sa faci studii pe telecom :), altele decat studii de satisfactie (adica in randul clientilor).

in rest pe youth, suni pe mobile. tot cati este :).

vax-albina spunea...

Primesc telefoane, dat fiind ca fixul nu este pe numele meu. Intrerup insa repede vorbaria, in general, si imi spun varsta. Cu scuze, interlocutorul nu mai este interesat de opiniile mele. Concluzia: dupa o anumita varsta esti tratat drept tampit, inclusiv de catre operatorii de interviu (si am facut, la batranete, multe forme de introducere a datelor pentru unii ca acestia). Asta e si evit sa dezvolt ideea.

magaway spunea...

domnii sociologi nu sunt singurii din tarishoara care stiu statistica, noroc ca nu fac cercetare medicala. in romanica, cati = garbage in, garbage out. despre ce vorbim aici, despre rezultate interschimbile. ei le-as zice fishing expeditions.

Bogdan spunea...

Uite ce zice un american despre CATI, propunând metodologia RDS ca posibilă ajustare:

This same fundamental problem faced pollsters during the recent presidential election. Phone based polls were not able to access voters who had abandoned land-based phones in favor of cell and Internet phones or voters who merely refused to be interviewed. [...]little was known about these inaccessible voters [...] whether they differed in political attitudes was not known, so pollsters had no way of knowing how to adjust their estimates to compensate for those they had missed.

E vorba despre alegerile din US, cred că din 2004 (sau o fi 2008)???

Eu am ajuns acolo citind despre RDS, nu am stat să aprofundez aplicaţia în cazul estimării intenţiei de vot...



Asta nu înseamnă că dezvoltarea de sondaje CATI nu e eficientă şi, mai ales, ieftină, ci doar că, din perspectiva unora, rezultatele ar cam trebui citite cu precauţie. Eu unul împărtăşesc acestă ultimă opinie.

Turambar spunea...

Hmmmm. Deci spui tu ca metodologia asta RDS ar tamadui din bube? Hmmmm. Aici da-mi mie voie sa le citesc intentiile cu precautie.

In privinta CATI, stii care este pana la urma masura lucrurilor? Rezultatele. Daca te uiti la evolutia rezultatelor CATI de dinainte de alegeri (turul 1, turul 2), vezi ca obtii o estimare buna a rezultatului votului. Validare, da?

:wink:

Bogdan spunea...

Aici e discuţie lungă.
Mie RDS mi se pare extrem de sensibil, iar sistemul de ponderi greu de făcut.

CATI e OK, produce estimatori decenţi, dar FTF rămâne mai bun. FTF (& no replacement) este de altfel opţiunea explicită a principalelor large scale comparative surveys (ESS, EVS-WVS, ISSP), acolo unde nu există presiunea clientului (time & money) şi unde fiecare deviaţie e de fapt dublă, ţinând cont de scopul compaativ.