Gamma la toata lumea

Se da urmatoarea situatie: ai niste raspunsuri privind niste sume de bani. Unele din ele, cele mai multe (1901 din 2136) au moneda explicit mentionata. Avem insa o minoritate de raspunsuri (230) la care nu stim moneda. Ce punem: Euro sau RON?

Problema se formuleaza astfel: cunoscindu-se distributia Euro / RON la fiecare din valorile distributiei, sa se identifice proportiile in care cele 230 de raspunsuri fara moneda ar trebui sa primeasca Euro, respectiv RON, in asa fel incit sa se minimizeze eroarea de atribuire Euro / RON.

Rezolvare:

Initial, curatam distributia bruta de acele sume unde avem putine raspunsuri. Dupa cum stim, raspunsuri putine, moartea pasiunii in statistica.

Resulta o distributie intermediara, cu frecvente suficient de mari incit sa functioneze decent legea numerelor mari.

Se standardizeaza apoi raportul Euro : RON la fiecare palier de raspuns, pastrindu-se doar procentele de raspunsuri Euro (cele RON sint, evident, complementare: diferenta pina la 100).

Rezulta urmatoarea distributie. In stinga, valoarea (in euro). In dreapta, procentul de mentionari in cadrul raspunsurilor cu moneda cunoscuta.

E %
100 60
200 69
300 74
400 84
500 89
600 89
700 87
750 85
800 87
900 85
1,000 79
1,100 78
1,200 72
1,300 68
1,400 56
1,500 56
1,600 46
1,700 46
1,750 42
1,800 44
2,000 36
2,500 36
3,000 34
4,000 33
5,000 36

Urmatorul pas: ce functie, ce distributie teoretica se aseaza cel mai bine pe aceasta distributie reala? (daca faceti graficul, veti vedea cum arata si cum miroase a functie in spate).

Raspunsul (dupa oaresce sapaturi si belire vizuala de ochi): distributia Gamma.

Urmatoarea intrebare: care sint parametrii distributiei Gamma care aproximeaza cel mai bine aceasta distributie reala?

Raspuns:

Calculam mai intii media si abaterea standard a distributiei.

Obtinem urmatoarele valori:

Average = 1163.2
St Dev = 951.5

Calculam mai apoi parametrii distributiei Gamma, conform cu formulele

Theta = (st dev) * (st dev) / average
Kappa = average / theta

Obtinem urmatoarele valori:

Theta = 778.4
Kappa = 1.49

Mai apoi, standardizam distributia (valorile Y, alea din dreapta, sa putem sa calculam probabilitati Gamma si pentru alte valori, intermediare).

Trebuie sa luam valorile din dreapta (procentele) si le transformam in probabilitati. Mai intii normalizam (z), apoi rescalam (aducem la valori pozitive, ca in R+ e definita Gamma). Dupe ce tragem de valori de le apuca naiba, transformam seria de densitate de probabilitati in probabilitati cumulate. Calculam deci probabilitatile cumulate, sa dea o serie ordonata strict crescator, de la 0 la 1.

Urmatorul pas: avind probabilitatile cumulate, calculam acum functia inversa a lui Gamma pt valorile intermediare, alea dintre cele din tabelul de mai sus, alea pe care le-am dat la o parte, ca erau frecvente prea putine. Ne inchinam cinci spre cinsprezece minute la Excel si iese. Traiasca Excelul, ca stie de toate!

Apoi, in cele din urma, recalibram valorile intermediare obtinute pe dimensiunile distributiei initiale (nu uitati: am standardizat initial, deci am turtito-lungito-transformat distributia. Acum trebuie sa o aducem la loc)

Rezulta urmatoarele grafice, care exprima toata lupta cu ingeru a lui Turambar de azi.

Fig. 1: Distributia reala (dupa ce am dat la o parte valorile unde aveam frecvente putine)



Fig. 2. Distributia teoretica Gamma identificata.


Fig. 3. Recalibrare: Distributia teoretica Gamma adusa la scala initiala, la dimensiunile distributiei reale.


Pe urma am mai muncit inca aproape jumatate de ora, sa distribui eticheta Euro / RON cf cu procentele identificate. Dar asta e alta poveste, pentru alt grafic.

Aspru, nu?

:)

Life is beautiful and maths are useless, except when they're not.

:wink: