Cum pregătești un chestionar: 8 decizii înainte de prima întrebare

Cum pregătești un chestionar? Ia opt decizii înainte să scrii prima întrebare, în această ordine: ce trebuie să afli și ce vei raporta, dacă îi întrebi pe toți sau doar un eșantion, dacă oamenii pot și vor să răspundă, cum ajungi la ei, ce câștigă dacă participă, în ce ordine pui întrebările, cât de lung e chestionarul și cum îl testezi. Fiecare decizie te ferește de o greșeală frecventă, iar cele mai multe dintre aceste greșeli nu se mai pot repara după ce au venit răspunsurile. Ghidul e pentru oricine se ocupă singur de realizarea unui chestionar, fie că îl trimite clienților, angajaților, membrilor unei asociații sau studenților.

Pe scurt

  • Înainte de prima întrebare, scrie decizia pe care o sprijină sondajul și propoziția din raport pe care o va produce fiecare întrebare.
  • Doar la un eșantion aleatoriu mărimea lui îți spune cât de precis e rezultatul. Cei care răspund la un link pus pe un site sau pe o rețea de socializare s-au ales singuri.
  • Niciun canal nu face sondajul anonim. Spune cine vede răspunsurile individuale și că rezultatele se prezintă doar la nivel de grup.
  • Începe cu întrebări ușoare, legate de temă, și pune întrebările demografice spre final.
  • Testează chestionarul cu câteva persoane care seamănă cu respondenții tăi și notează cât timp le-a luat.

1. Stabilește ce trebuie să afli și ce vei raporta

Scrie o propoziție care spune ce decizie va sprijini sondajul și cine o va lua. „Vrem să aflăm ce cred angajații” nu e o astfel de propoziție; „Hotărâm dacă din ianuarie trecem la noul program de lucru” este.

Apoi fă lista informațiilor de care are nevoie decizia și notează lângă fiecare propoziția sau tabelul din raport în care va intra: „x% dintre angajați preferă noul program”, „pe departamente”. O întrebare care nu ajunge în niciun rând din raport o tai de acum.

Tot acum hotărăște ce grupuri vei compara: departamente, magazine, grupe de vârstă. În Survey.ro, „Analize comparative” (rezultatele unei întrebări împărțite după răspunsurile la alta) se pot face doar între întrebări cu variante de răspuns („Un singur răspuns”, „Răspunsuri multiple”, „Liste verticale” și întrebările cu imagini), așa că întreabă de departament sau de grupa de vârstă printr-o întrebare cu variante, nu într-un câmp de text. Vezi cum alegi tipul fiecărei întrebări după raport.

2. Pe cine întrebi: pe toți sau un eșantion

Stabilește întâi grupul pe care trebuie să-l descrie rezultatele, apoi alege:

Asociația Americană pentru Cercetarea Opiniei Publice (AAPOR) dă aceste marje de eroare, rotunjite aici, pentru un eșantion aleatoriu dintr-un grup mare, la un nivel de încredere de 95% și cu răspunsurile împărțite 50/50:

Câți au răspuns Marja de eroare, în puncte procentuale
100 aproximativ ±10
400 aproximativ ±5
1.000 aproximativ ±3

Când grupul e de multe ori mai mare decât eșantionul, cum e populația unei țări sau a unui oraș, mărimea grupului abia schimbă aceste cifre; ca să înjumătățești marja, îți trebuie de aproximativ patru ori mai mulți respondenți. Mai multe răspunsuri reduc însă doar eroarea aleatorie, nu și eroarea sistematică (biasul).

Cele mai multe sondaje distribuite prin link sunt un al treilea caz: cei care răspund la un link de pe un site sau de pe o rețea de socializare s-au ales singuri. Pentru ei nu se poate calcula nicio marjă de eroare, iar răspunsurile, luate singure, nu-ți pot arăta cât de departe sunt de realitate. Nici dacă potrivești câteva proporții cu cele din populație, de pildă ponderea femeilor, nu rezolvi problema: Statistics Canada, institutul canadian de statistică, avertizează că așa poți ascunde o distorsiune de selecție. Folosește proporțiile cunoscute ca verificare: compară cine a răspuns cu cine face parte din grup. Fără o listă a întregului grup, spune în raport pe cine ai întrebat, nu că rezultatele sunt reprezentative. Vezi și cum găsești respondenții potriviți.

3. Verifică dacă oamenii pot și vor să răspundă

Pot să răspundă? Întreabă-i pe oamenii care au informația: angajații întrebați despre clauzele contractului cu un furnizor doar ghicesc. Statistics Canada adaugă că primele întrebări trebuie să-i facă pe respondenți să simtă că pot răspunde și la restul.

Vor să răspundă sincer? O temă sensibilă, cum sunt salariul, sănătatea sau felul în care se poartă un șef, nu e un motiv să renunți la sondaj. Fără un intervievator de față, oamenii dau mai rar răspunsuri alese ca să dea bine, iar o formulare atentă și o propoziție clară despre cine vede răspunsurile fac restul; vezi cum pui o întrebare sensibilă. Doar când un grup e atât de mic încât un răspuns ar arăta cine l-a dat, folosește alt canal decât sondajul.

4. Cum ajungi la respondenți și ce îți spune fiecare canal

Folosește o listă acolo unde ai una și adaugă canale deschise doar pentru oamenii la care lista nu ajunge: canalul hotărăște cine răspunde. În Survey.ro, canalele sunt în fila „Distribuie” a sondajului:

Niciun canal nu face răspunsurile anonime. Un link general nu poartă niciun nume, dar un grup mic, un comentariu scris, un câmp cu date de contact sau o combinație de răspunsuri (departamentul plus grupa de vârstă) pot arăta cine a răspuns, iar Survey.ro înregistrează cu fiecare răspuns timpul de completare, dispozitivul, browserul, țara (acolo unde poate fi stabilită) și site-ul de pe care a venit respondentul. Așa că nu promite anonimat. Spune-le respondenților cine va vedea răspunsurile individuale și că rezultatele se prezintă doar la nivel de grup, pentru grupuri de cel puțin 10 persoane. Survey.ro nu impune niciun minim: verifică tu câte răspunsuri are fiecare grup înainte să arăți o defalcare.

5. Spune-le respondenților ce câștigă dacă participă

Spune într-o singură frază concretă ce hotărăști pe baza răspunsurilor, în invitație și în introducere: „dacă din ianuarie trecem la noul program”, nu „ca să ne îmbunătățim serviciile”. Spune la ce folosesc răspunsurile, niciodată ce răspuns speri să primești.

Într-o sinteză Cochrane (Edwards și colegii săi, 2023), stimulentele în bani și cadourile mici au crescut numărul de răspunsuri la chestionarele online, deși rezultatele au variat mult de la un experiment la altul. Mai multe răspunsuri nu înseamnă însă neapărat răspunsuri mai reprezentative. Dacă oferi un stimulent, spune ce este, cine îl primește și când; tragerile la sorți cu premii pot fi reglementate, așa că verifică regulile care ți se aplică. Survey.ro nu le trimite respondenților niciun mesaj când termină și nu organizează trageri la sorți, așa că stimulentul îl dai tu. Cere adresa de e-mail printr-o întrebare opțională, pe ultima pagină, ca oamenii să poată răspunde și fără să ceară stimulentul, și spune că adresa se păstrează împreună cu răspunsurile și se folosește doar pentru asta. Vezi și alte moduri de a-i face pe invitați să răspundă.

6. Ordinea întrebărilor

Începe cu întrebări simple, legate de tema sondajului, la care respondenții răspund ușor și cu interes, mergi de la general la specific și pune întrebările demografice (vârstă, gen, localitatea de domiciliu) spre final, afară de cazul în care una dintre ele e întrebarea-filtru care hotărăște cine continuă. Pew Research Center și Statistics Canada dau același sfat.

Motivul: o întrebare pusă mai devreme le dă context celor de după ea și le poate schimba răspunsurile. De aceea, o întrebare pe care o urmărești în timp rămâne în același loc la fiecare rundă.

Deschide chestionarul cu o scurtă introducere pe primul ecran, care spune cine întreabă, la ce folosesc răspunsurile, cât durează completarea și cine vede răspunsurile, și încheie-l cu un mesaj de mulțumire („Îți mulțumim pentru timpul acordat”). Pentru formulare, vezi cum scrii introducerea chestionarului.

7. Un chestionar scurt, cu durata măsurată

Taie tot ce nu ajunge în niciun rând din raport: în experimentele online din sinteza Cochrane, chestionarele mai scurte au primit mai multe răspunsuri, deși rezultatele au variat mult.

Lungimea te costă în două feluri: cu cât durata anunțată e mai mare, cu atât mai puțini oameni încep și termină chestionarul, iar răspunsurile de la finalul unui chestionar lung devin mai rapide, mai scurte și mai uniforme (Galesic și Bosnjak, 2009). Cel mai mult costă întrebările deschise. Pew Research Center a analizat peste 40 de sondaje din panelul său online American Trends Panel, ai cărui membri sunt recrutați aleatoriu: între septembrie 2018 și iulie 2021, în medie aproximativ 18% dintre respondenți au sărit peste o întrebare deschisă, față de 1–2% la întrebările închise.

Nicio regulă sigură nu spune câte întrebări încap într-un minut. Măsoară timpul la pretestare, scrie-l în invitație și în introducere, iar dacă ți se pare mult, scurtează chestionarul, nu cifra.

8. Pretestarea chestionarului înainte de trimitere

Înainte să trimiți sondajul, roagă câteva persoane care seamănă cu respondenții tăi să completeze chestionarul: clienți pentru un sondaj de clienți, nu doar colegi, care prind greșelile de scriere, dar nu și ce înțeleg greșit clienții. AAPOR, Pew Research Center și Statistics Canada tratează pretestarea ca pe un pas obișnuit în construirea unui chestionar.

Urmărește unde ezită cei care testează, ce li se pare neclar sau stânjenitor, ce întrebare îi face să se oprească și să se gândească, dacă știu ce li se cere și dacă părerea lor se regăsește în vreuna dintre variantele de răspuns.

În Survey.ro, „Previzualizare” îți arată sondajul așa cum îl văd respondenții, dar nu primește răspunsuri. Pentru un test cronometrat, activează sondajul (opțiunea „Activ”), trimite linkul celor care testează și citește „Timpul de răspuns” al fiecărui test în „Răspunsuri individuale”. Apoi deschide rezultatele și încearcă să scrii propozițiile din raport pe care le-ai notat la pasul „Stabilește ce trebuie să afli și ce vei raporta”; o propoziție pe care nu o poți scrie înseamnă o întrebare de schimbat. Înainte de trimiterea propriu-zisă, șterge răspunsurile de test din „Răspunsuri individuale”: până atunci se numără alături de cele reale și intră în limita de răspunsuri a sondajului. Ștergerea e definitivă. Verifică sondajul și pe un telefon.

Ce reții

Pregătirea unui chestionar înseamnă opt decizii, de la planul raportului până la pretestare. Două dintre ele te costă cel mai mult dacă le sari: planul raportului și pretestarea. Planul îi dă fiecărei întrebări un rost, pretestarea îți arată ce nu vezi în propria ciornă. Oricare ar fi canalul, nu promite anonimat: spune cine vede răspunsurile.

Ca punct de plecare, răsfoiește șabloanele de chestionare, grupate pe domenii.

Șabloane de chestionare pe domenii

Șabloane și exemple de sondaje, grupate pe domenii. Începe cu domeniul cel mai apropiat de decizia pe care o sprijină sondajul tău.

Vezi șabloanele

Citește și