Eroarea de eșantionare și eroarea sistematică: care e diferența

Eroarea de eșantionare și eroarea sistematică sunt puse des la un loc, ca „erori statistice”, deși se corectează diferit. Eroarea de eșantionare este o eroare aleatorie (întâmplătoare): diferența care apare pentru că ai întrebat doar o parte din grup. Scade previzibil când eșantionul crește și, la un eșantion aleatoriu, poate fi estimată. Eroarea sistematică împinge rezultatele mereu în aceeași direcție: vine din cine e pe listă, cine răspunde și cum sunt puse întrebările, iar mai multe răspunsuri nu o elimină. Ghidul se încheie cu o regulă: când ajută mai multe răspunsuri și când doar un sondaj mai bine gândit.

Pe scurt

• Eroarea de eșantionare e aleatorie: mută rezultatele în sus sau în jos și scade când eșantionul crește. Ca s-o înjumătățești, ai nevoie de patru ori mai multe răspunsuri.
• Eroarea sistematică împinge rezultatele într-o singură direcție, iar un eșantion mai mare nu o micșorează.
• Marja de eroare acoperă doar eroarea de eșantionare și doar la un eșantion aleatoriu. Despre eroarea sistematică nu spune nimic.
• Eroarea de eșantionare se reduce cu mai multe răspunsuri dintr-un eșantion aleatoriu; cea sistematică, cu o listă mai bună, un nou mesaj către cei care n-au răspuns și întrebări mai bune.

Ce este eroarea de eșantionare (eroarea aleatorie)

Eroarea de eșantionare este diferența dintre cifra obținută pe un eșantion și cea pe care ai obține-o întrebându-i pe toți cei din grup. Există doar pentru că ai întrebat un eșantion: un recensământ nu are eroare de eșantionare.

Vine din întâmplarea care decide cine e ales. Două eșantioane aleatorii a câte 200 de persoane din lista clienților cu card de fidelitate pot da 41% și 45% clienți „foarte mulțumiți”. Niciunul nu greșește: fiecare cuprinde alți oameni, iar această împrăștiere este eroarea de eșantionare. Uneori rezultatul iese mai mare, alteori mai mic, iar în medie diferențele se compensează.

La un eșantion probabilist (aleatoriu), ea se poate estima: ca eroare standard, interval de încredere sau marjă de eroare.

Ce este eroarea sistematică (bias)

Eroarea sistematică (în engleză bias) împinge rezultatele unui sondaj mereu în aceeași direcție. Dacă le întrebi doar pe femei despre un produs cumpărat și de bărbați, fiecare estimare înclină în aceeași parte, oricâte femei ar răspunde. Face parte din erorile nelegate de eșantionare. Când cauza e cine ajunge să răspundă, i se spune adesea bias de selecție, dar nu e o eroare de eșantionare.

Eroarea sistematică nu se compensează în medie, iar un eșantion mai mare nu o reduce, arată Statistics Canada, institutul canadian de statistică. Sondajul revistei americane Literary Digest dinaintea alegerilor prezidențiale din 1936 a avut un eșantion uriaș și a greșit totuși grav, pentru că și lista, și răspunsurile primite erau distorsionate (Squire, Public Opinion Quarterly, 1988).

Pentru eroarea sistematică nu se poate calcula o marjă de eroare: marja publicată sub un sondaj acoperă doar eroarea de eșantionare (AAPOR, Asociația Americană pentru Cercetarea Opiniei Publice), iar formularea întrebărilor, golurile din listă și răspunsurile nesincere se măsoară greu și apar rar în rapoarte (Pew Research Center). Mărimea ei diferă și de la o întrebare la alta (Pew Research Center, 2017); scopul e s-o reduci și să spui încotro împinge probabil cifrele.

Eroarea de eșantionare și eroarea sistematică, într-un tabel

Diferența ține de direcție și de remediu: eroarea de eșantionare împrăștie rezultatele în jurul valorii reale, eroarea sistematică le mută departe de ea.

În abordarea erorii totale a sondajului (Groves și Lyberg, Public Opinion Quarterly, 2010), eroarea unei cifre e de obicei varianța ei plus pătratul erorii sistematice (eroarea pătratică medie). Un eșantion mai mare micșorează primul termen, nu și pe al doilea: un eșantion mare și distorsionat dă tot o cifră greșită, iar orice sondaj pune în balanță eroarea și costul.

Cât te ajută mai multe răspunsuri

Marja de eroare se exprimă în puncte procentuale, de obicei la un nivel de încredere de 95%, și e cea mai mare când răspunsurile se împart 50/50. Declarația AAPOR despre marja erorii de eșantionare dă aceste valori:

Eșantion aleatoriu simplu dintr-un grup mare, răspund toți cei invitați, nivel de încredere de 95%, răspunsuri împărțite 50/50 (AAPOR).

Tabelul presupune că grupul întreg e mult mai mare decât eșantionul. Într-un grup mic, cum e o firmă de 80 de angajați sau o clasă de 30 de elevi, marja scade după ce ai întrebat o mare parte din oameni. Dacă i-ai invitat pe toți, nu există eroare de eșantionare: rezultatul e o numărătoare, iar diferența rămasă vine de la cei care nu au răspuns sau nu au răspuns exact.

De patru ori mai multe răspunsuri înjumătățesc marja (±9,8 la 100, ±4,9 la 400), dar de la 1.000 la 2.000 câștigi doar cam un punct; subgrupurile și ponderarea o lărgesc.

Mai important: marja se aplică doar eșantioanelor probabiliste, în care fiecare om a avut o șansă cunoscută, mai mare decât zero, de a fi ales, nu și celor în care oamenii se înscriu singuri, ca răspunsurile la un link de pe rețelele sociale sau de pe un site. Pentru acestea marja de eroare nu se poate calcula, iar răspunsurile singure nu arată cât de departe sunt de realitate. Eroarea sistematică o judeci doar după ceea ce știi din afara sondajului: compară structura întregului grup (vârstă, oraș, departament, tip de client) cu a respondenților.

De unde vine eroarea sistematică într-un sondaj online

Eroarea sistematică intră pe cinci căi: primele trei țin de cine răspunde, ultimele două de răspunsurile înseși (distorsiuni ale răspunsurilor și alte erori de măsurare).

Acoperirea: cine lipsește din listă

Eroarea de acoperire apare când lista sau canalul lasă pe dinafară o parte din grup. Un sondaj pentru angajați trimis prin e-mail nu ajunge la cei fără adresă de serviciu, cum sunt muncitorii din producție. Verifică dinainte cine lipsește și cum ajungi la ei altfel.

Autoselecția: cine alege să răspundă

La un link pus pe un site sau pe rețelele sociale, oamenii hotărăsc singuri dacă răspund, și răspund mai ales cei cu păreri puternice. Invită în schimb oameni de pe o listă stabilită dinainte. Ca să nu răspundă cine nu e invitat, bifează „Restricționează răspunsurile la sondaj doar la cei care au fost invitați prin email”, care oprește linkul direct și orice alt mod de distribuire. Invitații pot răspunde cu sau fără monitorizarea răspunsurilor, care e dezactivată implicit și leagă fiecare răspuns de destinatarul lui; când e activă, invitația îi anunță pe destinatari. Restricția îi ține deoparte pe cei neinvitați, dar nu face eșantionul aleatoriu.

Non-răspunsul: cine n-a răspuns

Biasul de non-răspuns depinde de două lucruri împreună: câți invitați nu au răspuns și cât de diferiți sunt de cei care au răspuns. O rată de răspuns mică, cu diferențe mici, face puțin rău; o rată mare, cu un grup absent foarte diferit, poate totuși induce în eroare.

Non-răspunsul apare și la nivel de întrebare. Uită-te la numărul de răspunsuri la fiecare întrebare, nu doar la chestionarele completate: cifra unei întrebări sensibile sărite de jumătate dintre respondenți are bias de non-răspuns chiar dacă rata de răspuns a sondajului e bună.

Fă un chestionar scurt și vezi cum îi convingi pe mai mulți invitați să răspundă. Mesajul de reamintire către cei care nu au răspuns îl scrii și îl trimiți tu (vezi ghidul pentru invitații și reveniri prin e-mail); Survey.ro nu trimite reamintiri automate. Dacă ai bifat „Activează monitorizarea răspunsurilor” înainte de prima trimitere, opțiunea „Nu au răspuns la invitația pe e-mail” îi alege doar pe cei care nu au deschis sondajul din linkul invitației lor; fără monitorizare, mesajul pleacă la toată lista. Apoi compară structura respondenților cu a grupului. Compararea răspunsurilor timpurii cu cele târzii e un indiciu, nu un test: cine a răspuns abia după reamintirea ta tot a răspuns.

Formularea și ordinea întrebărilor

Întrebările sugestive și cele încărcate împing răspunsurile într-o direcție, întrebările duble le amestecă, iar un singur cuvânt poate schimba rezultatul: Pew Research Center arată că, în SUA, „ajutorul pentru cei săraci” strânge mai mult sprijin decât „welfare”, numele american al ajutoarelor sociale. Reformulează-le, împarte întrebarea dublă în două și fă o pretestare cu câțiva oameni din grup.

Păstrează în ordine fixă întrebările care se sprijină una pe alta: de la general la particular, întrebarea-filtru înaintea celor care depind de ea. Arată elementele paralele (mărci, departamente, afirmații) în ordine aleatorie, ca niciunul să nu fie mereu primul: efectul ordinii se împarte egal, dar nu dispare. Într-o matrice folosește „așează rândurile la întâmplare”, iar „așează coloanele la întâmplare” doar când coloanele sunt categorii fără ordine firească, niciodată pe o scală de evaluare. Setarea „Așează întrebările la întâmplare” amestecă întrebările în fiecare pagină din tot sondajul, deci activeaz-o doar dacă fiecare pagină are numai întrebări paralele. Variantele de răspuns ale unei întrebări nu se amestecă niciodată.

Răspunsurile dezirabile social

Oamenii raportează mai rar ce e privit cu ochi răi și mai des ce e apreciat: e dezirabilitatea socială, tendința de a da răspunsul bine văzut. La „Ești fumător înrăit?” unii fumători înrăiți vor răspunde „Nu”. Întreabă neutru și oferă intervale în loc de etichete: „Câte țigări fumezi într-o zi obișnuită?”, cu „Niciuna”, „1–5”, „6–10” și așa mai departe. Fără intervievator, un formular online slăbește efectul, dar nu îl elimină. La telefon și față în față se adaugă efectul intervievatorului și erorile de introducere a datelor.

Întâmplare sau eroare sistematică? Cum citești un rezultat neașteptat

Când un rezultat te surprinde, compară abaterea față de ce te așteptai cu marja de eroare. Dacă e mult peste ce permite întâmplarea sau eșantionul nu a fost aleatoriu, caută eroarea sistematică și direcția ei.

Să zicem că 100 de respondenți, pe care îi crezi un eșantion aleatoriu al clienților tăi, arată că 20% preferă noua aromă de înghețată, iar o numărătoare de încredere pe toți clienții arată apoi circa 33%. Diferența e de 13 puncte procentuale, nu de 13%. Marja pentru 100 de răspunsuri e de circa ±10 puncte procentuale; cam 1 eșantion aleatoriu din 20 iese din ea și aproape niciunul atât de departe, deci întâmplarea singură e o explicație puțin probabilă: întreabă-te cine a fost invitat și cine a răspuns. Dacă cele 100 de răspunsuri au venit printr-un link distribuit, sari peste marjă și pornește direct de la aceste întrebări.

Compararea a două grupuri cere o marjă mai largă. Două departamente cu câte 200 de răspunsuri au fiecare circa ±7 puncte procentuale, dar diferența dintre ele are circa ±10. O diferență de 6 puncte e în limitele întâmplării, una de 15 nu. La fel când compari anul acesta cu anul trecut.

Unui link din newsletter cu 500 de răspunsuri complete nu i se aplică marja de ±4,4 puncte procentuale din tabel: respondenții s-au ales singuri, iar chiar și 500 de abonați aleși la întâmplare ar descrie doar abonații, nu toți clienții. Raportează numărul de răspunsuri, canalul și grupurile probabil subreprezentate.

Mai multe răspunsuri sau un chestionar mai bun: ce soluție pentru ce eroare

Verifică lista înainte de trimitere și de raport.

1. Eșantion aleatoriu dintr-un grup mare, cu o marjă prea largă pentru decizia ta: strânge mai multe răspunsuri, dar peste circa 1.000 câștigul e mic.
2. Grupuri care lipsesc sau sunt subreprezentate: mai multe răspunsuri prin același canal nu ajută; schimbă lista sau canalul. Dacă structura respondenților diferă de a grupului la ceva ce știi despre toți (oraș, departament, grupă de vârstă), prezintă rezultatele pe aceste grupuri sau ponderează-le după „Exportă în Excel”; Survey.ro nu ponderează răspunsurile. Ponderarea corectează doar caracteristicile folosite, nu și părerile celor care nu au răspuns, și lărgește marja. Prezintă doar grupuri de cel puțin 10 respondenți, ca să nu poată fi recunoscut nimeni; Survey.ro nu impune acest minim, deci numeri tu. Un grup de 10–30 de oameni are oricum o marjă mult mai largă decât cele din tabel: descrie-i cifrele, nu le compara.
3. Ai invitat tot grupul: mai multe răspunsuri înseamnă să le scrii din nou celor care nu au răspuns, nu un eșantion mai mare.
4. Îndoieli despre întrebări: fă o pretestare și rescrie-le după aceste sfaturi pentru întrebări clare și neutre. Ordinea aleatorie rămâne doar pentru elementele paralele.
5. Raportul: spune câte răspunsuri ai și cum i-ai invitat pe oameni, dă o marjă de eroare doar pentru un eșantion aleatoriu și arată încotro ar împinge cifrele eroarea sistematică probabilă.

Eroarea aleatorie scade cu fiecare răspuns în plus, iar la un eșantion aleatoriu marja de eroare arată cât a rămas din ea. Eroarea sistematică rămâne oricâte răspunsuri ai strânge; o reduc doar o listă care cuprinde tot grupul, un nou mesaj către cei care au tăcut și întrebări neutre, testate.

Pornește de la șablonul de cercetare de piață de mai jos și trimite-l unei liste stabilite, nu ca link general.

Citește și

• Chestionar adaptat pentru telefon: ce arată studiile
• Gamificarea chestionarelor: când ajută și când strică datele
• Feedback la cursurile online: ce întrebi pe parcurs și la final