Bias de non-răspuns în sondaje: ce este și cum îl verifici

Biasul de non-răspuns este distorsiunea care apare atunci când oamenii care nu răspund la un sondaj diferă de cei care răspund tocmai prin ceea ce măsoară sondajul. Nu apare doar pentru că ai puține răspunsuri. O rată de răspuns mică îl face mai probabil, dar nu dovedește că rezultatele tale sunt greșite, iar o rată mare nu îl exclude. Ghidul e pentru oricine trimite un sondaj unei liste de angajați, clienți, membri sau studenți și trebuie apoi să hotărască cât se poate baza pe rezultate. Afli de ce nu răspund oamenii, cum verifici pe lista și pe rezultatele tale dacă cei care lipsesc îți schimbă concluziile și ce faci înainte de sondaj, în timpul lui și după.

Pe scurt

• Biasul de non-răspuns vine din diferențele dintre cei care răspund și cei care nu răspund, nu din numărul mic de răspunsuri.
• O rată de răspuns mică e un semnal de alarmă, nu o dovadă. Mai multe răspunsuri de la același fel de oameni îngustează marja de eroare, dar distorsiunea rămâne.
• Poți verifica dacă rezultatele tale sunt afectate: compară cine a răspuns cu cine a fost invitat, pune răspunsurile timpurii lângă cele târzii și întreabă câțiva oameni care nu au răspuns.
• Ca să reduci distorsiunea, fă un sondaj scurt și relevant, trimite mesajul de reamintire doar celor care nu au răspuns și raportează rata de răspuns împreună cu limitele ei.

Ce este biasul de non-răspuns

Biasul de non-răspuns este o eroare sistematică (acesta e sensul cuvântului englezesc bias): cei care nu răspund diferă de cei care răspund prin ceea ce măsoară sondajul, așa că rezultatele calculate doar din răspunsurile primite înclină într-o direcție. Îl mai întâlnești sub numele de „eroare de non-răspuns”.

Mărimea lui depinde de două lucruri: câți oameni lipsesc și cât de diferiți sunt. Dacă cei care nu răspund seamănă cu cei care răspund, rezultatele nu sunt distorsionate, oricâți ar lipsi. Dacă diferă, rezultatul se mută chiar și când lipsesc puțini.

Gândește-te la un sondaj printre angajați. Dacă oamenii din producție răspund mai rar decât cei din birouri, rezultatele înclină spre părerile celor din birouri. Asta se vede, pentru că știi departamentul fiecăruia, și se poate corecta. Mai greu e cazul în care oamenii nu răspund tocmai din cauza răspunsului pe care l-ar da: dacă angajații nemulțumiți de managerul lor ignoră sondajul, satisfacția pare mai mare decât este, iar în datele tale nu se vede nimic.

Biasul de non-răspuns ține de cine răspunde. Distorsiunile răspunsurilor țin de cât de exact e ceea ce spun oamenii.

Efectul intervievatorului, adică felul în care cel care pune întrebările influențează răspunsurile, intră în a doua coloană.

Non-răspuns total și non-răspuns parțial

Non-răspunsul total înseamnă că o persoană invitată nu răspunde deloc. Non-răspunsul parțial, numit și non-răspuns la itemi, înseamnă că un respondent lasă unele întrebări fără răspuns.

În panelul online al Pew Research Center din Statele Unite, un grup de oameni care răspund regulat la sondaje, cam 1–2% dintre respondenți sar peste o întrebare închisă obișnuită. La întrebările deschise, media e de circa 18%, de la 3% până la puțin peste 50%, în funcție de întrebare (Pew Research Center, 2021). Oamenii sar mai des peste întrebări pe telefon și atunci când întrebarea le cere mai multă gândire. Membrii panelului sunt obișnuiți cu sondajele, așa că, pentru un sondaj trimis o singură dată, ia cifrele drept un minim.

O întrebare obligatorie nu poate fi sărită, așa că non-răspunsul ei ia altă formă: oamenii abandonează chestionarul sau aleg o variantă la întâmplare. Pune ce vrei neapărat să măsori în întrebări închise și păstrează puține întrebări deschise, toate opționale (vezi avantajele și dezavantajele întrebărilor deschise și închise).

O rată de răspuns mică e un semnal de alarmă, nu o dovadă

Rata de răspuns, luată singură, nu îți spune dacă rezultatele au o eroare sistematică. Un studiu din 2017 al Pew Research Center și cercetări mai vechi sugerează că rata de răspuns e un indicator nesigur al erorii sistematice (Pew Research Center, 2017).

Rata de răspuns la sondajele telefonice ale Pew a scăzut de la 36% în 1997 la 9% în 2012. Sondajul din 2012 a rămas totuși aproape de datele de referință ale guvernului american la majoritatea indicatorilor, iar o variantă făcută cu mult mai mult efort, cu o rată de 22%, a diferit de el cu cel mult două puncte procentuale la 28 din 40 de indicatori (Pew Research Center, 2012). Acolo unde tema însăși îi face pe oameni mai dispuși să răspundă, eroarea a fost însă mare. În 2012, 55% dintre respondenți au spus că au făcut voluntariat, față de 27% în Current Population Survey, o anchetă guvernamentală; în 2017, 46% au spus că au lucrat împreună cu vecinii, față de 8% în aceeași anchetă de referință. Cine face voluntariat e și mai dispus să răspundă la sondaje.

E însă o condiție: Pew își ponderează sondajele astfel încât vârsta, sexul, educația, rasa și regiunea să corespundă populației, iar concluzia e valabilă după această ajustare. Un sondaj trimis unei liste de angajați sau de clienți de obicei nu e ponderat, deci comparația trebuie s-o faci tu (verificarea 1 de mai jos).

Un exemplu arată de ce numărul de răspunsuri nu e testul potrivit. Inviți 200 de persoane dintr-un grup de 20.000 și primești 50–60 de răspunsuri. Dacă aceste răspunsuri ar fi un eșantion aleatoriu, marja de eroare ar fi de circa ±13 puncte procentuale la un nivel de încredere de 95% (pentru o întrebare la care părerile se împart 50/50): largă, dar suficientă ca să vezi diferențele mari. Mărimea grupului aproape că nu mai contează odată ce trece de câteva mii: 377 de răspunsuri dau circa ±5 puncte procentuale și pentru 20.000 de oameni, și pentru 2 milioane. Întrebarea adevărată e dacă cei 50–60 care au răspuns seamănă cu cei circa 140 care nu au răspuns. Dacă inviți 600 de persoane și primești 180 de răspunsuri de la același fel de oameni, se îngustează marja de eroare, dar eroarea sistematică rămâne.

De ce nu răspund oamenii la un chestionar

Cei care nu răspund se împart în trei grupuri, iar fiecare cere altă soluție.

Un caz nu ține deloc de non-răspuns. Dacă lista ta e incompletă sau veche, o parte dintre oamenii care ar trebui să răspundă nu primesc nicio invitație. Aceasta e o eroare de acoperire: mesajele de reamintire nu o repară, o listă corectată da. Vezi cum găsești respondenții potriviți pentru chestionar.

Cum verifici dacă rezultatele tale sunt afectate

Compară cine a răspuns cu cine a fost invitat. Dacă cele două grupuri arată la fel la tot ce știi despre ele, e un semn bun, dar nu o dovadă. Patru dintre cele cinci verificări folosesc date pe care le ai deja; una cere să întrebi direct câțiva oameni.

1. Compară respondenții cu toți cei invitați

Folosește ce știi despre toți cei de pe listă: departamentul, regiunea, tipul de client, grupa de vârstă. Un grup care a răspuns de două ori mai rar decât celelalte e subreprezentat în rezultate. Pe Survey.ro, dacă trimiți invitațiile prin e-mail cu opțiunea „Activează monitorizarea răspunsurilor” bifată (implicit e dezactivată) și ai adăugat în listă o valoare pentru fiecare adresă, de exemplu departamentul, filtrează rezultatele cu „Valoarea email-ului este egală cu”. Altfel, adaugă o întrebare demografică, compară structura respondenților cu cea a grupului invitat și vezi în „Analize comparative” dacă răspunsurile importante diferă între grupuri.

2. Compară ratele de răspuns pe grupuri

O rată mică într-un singur grup contează mai mult decât o rată mică pe ansamblu. Cât timp sondajul e deschis și monitorizarea răspunsurilor e activată, filtrul „Nu ai primit niciun răspuns” din lista „Destinatarii email-urilor” îți arată cine lipsește încă. Uită-te din nou după fiecare mesaj de reamintire.

3. Compară răspunsurile timpurii cu cele târzii

Într-un sondaj trimis prin e-mail, „târziu” înseamnă după mesajul de reamintire. Cei care răspund abia după ce le reamintești seamănă adesea, deși nu întotdeauna, mai mult cu cei care nu răspund deloc. Împarte răspunsurile în două, la data mesajului de reamintire, cu filtrul de rezultate „Sondaj completat între” (filtrul folosește data la care a fost început fiecare răspuns). Dacă cele două grupuri diferă la întrebările importante, poți bănui o eroare sistematică; e un indiciu, nu o dovadă.

4. Întreabă câțiva oameni care nu au răspuns

Pune-le câtorva dintre cei care nu au răspuns una sau două întrebări esențiale, la telefon sau față în față, într-o formulare neutră. Altfel nu ai de unde ști ce cred ei: Biroul Australian de Statistică (ABS) notează că problema poate fi lămurită pe deplin doar cu date de la cei care nu au răspuns. Cei care îți răspund acum sunt cei mai dispuși să vorbească dintre ei, așa că citește rezultatul ca pe o direcție, nu ca pe o cifră.

5. Uită-te la întrebările sărite și la locul unde s-au oprit oamenii

O întrebare peste care sar mulți înseamnă non-răspuns parțial; pagina la care se opresc răspunsurile neterminate arată unde renunță oamenii. Filtrul „Include răspunsurile necompletate” și condiția „nu s-a răspuns” îți arată unde anume.

Cum reduci biasul de non-răspuns înainte și în timpul sondajului

Îndreaptă-ți efortul spre grupurile care lipsesc, nu spre numărul total de răspunsuri.

O sinteză sistematică Cochrane a lui Edwards și a colegilor săi (2023; 758 de experimente randomizate, cu dovezi până în decembrie 2021) arată ce a crescut rata de răspuns la sondajele pe web și prin e-mail:

Un raport al șanselor (odds ratio) peste 1 înseamnă mai multe răspunsuri, sub 1 mai puține. La aproximativ jumătate dintre strategiile testate, rezultatele au variat mult de la un experiment la altul.

Mai multe răspunsuri nu înseamnă o eroare sistematică mai mică. Un stimulent îi aduce și pe cei pe care tema nu-i interesează. Asta reduce eroarea când tocmai ei lipsesc, dar poate adânci diferența când atrage mai ales grupuri care răspundeau oricum, așa că fă verificarea 1 înainte și după. Alege soluții care ajung la grupurile care lipsesc: o a doua cale de a răspunde (pe hârtie, la telefon sau față în față), un mesaj de reamintire de la un expeditor neutru, în care oamenii au încredere (departamentul de resurse umane sau un director care susține sondajul, niciodată managerul echipei despre care întrebi), și o oră potrivită pentru cei care lucrează în ture.

Trimite mesajul de reamintire doar celor care nu au răspuns. În experimentele cu chestionare prin poștă din aceeași sinteză, o reamintire prin e-mail a crescut rata de răspuns (raportul șanselor 1,60). Survey.ro nu trimite mesaje de reamintire automate: scrii tu un e-mail nou și, la „Trimite email-ul către destinatarii care”, alegi „Nu au răspuns la invitația pe e-mail”. Survey.ro știe cine a răspuns doar dacă monitorizarea răspunsurilor e activată. În acest caz, „nu au răspuns” înseamnă că persoana nu a deschis sondajul din linkul propriei invitații: cine a început și s-a oprit nu mai primește mesajul, iar cine a răspuns printr-un alt link îl primește totuși. Cu monitorizarea dezactivată, mesajul pleacă la toată lista. Înainte să trimiți acest memento, verifică ce grupuri lipsesc încă. Fiecare e-mail trimis se scade din numărul lunar de invitații prin e-mail al planului tău.

Spune cine vede răspunsurile și ce se înregistrează. Explică la ce folosesc rezultatele, cine are acces la ele și că se prezintă doar la nivel de grup; în experimentele cu chestionare prin poștă, asigurarea confidențialității a crescut rata de răspuns (1,33). Nu promite anonimat. Dacă activezi monitorizarea răspunsurilor ca să le poți scrie din nou doar celor care nu au răspuns, spune acest lucru, pentru că aceeași opțiune îți permite să vezi răspunsurile fiecărei persoane: „Înregistrăm cine a deschis sondajul din invitația primită, ca să le scriem din nou doar celor care nu l-au deschis. Autorul sondajului poate vedea răspunsurile individuale, iar rezultatele se prezintă doar la nivel de grup.” În subsolul invitației apare automat o notă cu același sens. Locul potrivit pentru acest text e introducerea chestionarului.

Fă chestionarul scurt și ușor de completat. Anunță durata reală; experimentele din sinteza Cochrane nu au arătat un câștig sigur din anunțarea unei durate mai scurte sau mai lungi. Taie ce nu vei folosi în analiză, corectează întrebările prea complexe, neclare sau prea lungi și adaugă varianta „Altele” sau „Nu știu” acolo unde e un răspuns cinstit. Bifează „Răspuns obligatoriu” doar la întrebările de care ai neapărat nevoie: dacă forțezi fiecare răspuns, oamenii abandonează sau aleg la întâmplare.

Pretestează și cronometrează. Roagă două-trei persoane din grupul vizat să completeze chestionarul și măsoară cât le ia, în loc să te bazezi pe o regulă de tipul „atâtea întrebări pe minut”.

După sondaj: ponderarea și raportarea ratei de răspuns

Ponderarea face ca fiecare grup să conteze în rezultate cât contează în lista celor invitați: dacă din producție au răspuns mai puțini oameni, răspunsurile lor primesc o pondere ceva mai mare. Ponderarea corectează doar diferențele la caracteristicile după care ponderezi. Dacă oamenii nu au răspuns din cauza părerii lor, ponderarea după vârstă sau după departament nu repară nimic, iar estimările devin mai puțin precise. O regulă practică, nu un standard: ponderează după una sau două caracteristici, cu cel puțin 20–30 de răspunsuri în fiecare grup; altfel, arată structura respondenților alături de cea a celor invitați. Survey.ro nu ponderează răspunsurile, dar poți face calculul într-o foaie de calcul, după „Exportă în Excel”.

Raportează rata de răspuns împreună cu definiția ei. Cea mai simplă, RR1 din definițiile standard ale AAPOR (Asociația Americană pentru Cercetarea Opiniei Publice), este numărul de răspunsuri complete împărțit la numărul de persoane invitate. Rata de non-răspuns e reversul ei: ponderea celor invitați care nu au răspuns. Survey.ro nu raportează e-mailurile respinse, așa că adresele la care invitația nu a ajuns rămân în numărul celor invitați, iar rata ta e un minim. Un sondaj distribuit printr-un link general nu are un număr cunoscut de invitați, deci nu are o rată de răspuns.

Spune ce au arătat verificările și în ce direcție ar împinge rezultatele eroarea rămasă: „Cei din producție au răspuns de două ori mai rar decât celelalte departamente și au dat note mai mici, așa că nota generală e probabil puțin mai mare decât cea reală.”

Cine lipsește contează mai mult decât câți lipsesc

Compară cine a răspuns cu cine a fost invitat, pune răspunsurile timpurii lângă cele târzii și, când miza e mare, întreabă câțiva oameni care nu au răspuns. Scrie-le din nou doar celor care nu au răspuns, îndreaptă-ți efortul spre grupurile rămase în urmă și raportează rata de răspuns cu definiția ei și cu ce au arătat verificările.

Cel mai ușor e să începi cu un sondaj printre angajați: știi cine a fost invitat și în ce departament lucrează fiecare. Cu invitații prin e-mail și monitorizarea răspunsurilor activată, despre care îi anunți pe oameni, poți face toate verificările de mai sus; cu un link general, îți rămâne comparația după întrebările de profil. Pornește de la un chestionar de satisfacție a angajaților gata făcut, care are deja două asemenea întrebări: rolul și vechimea.

Citește și

• Feedback la cursurile online: ce întrebi pe parcurs și la final
• Sondaje în școli și universități: ce afli de la elevi și studenți
• Cum alegi tipul de întrebare într-un chestionar, pornind de la analiză