Modelul Kirkpatrick: cum evaluezi eficiența unui training

Eficiența unui training nu se vede din chestionarul de la final. Modelul Kirkpatrick te pune să pornești de la rezultat: hotărăști, înainte de training, ce ar trebui să schimbe. Apoi măsori patru lucruri, de la cel mai ușor la cel mai greu: cum au primit participanții trainingul (un chestionar scurt la final), ce au învățat (un test sau o comparație înainte și după), dacă aplică ce au învățat (îi întrebi pe ei și pe managerul direct în săptămânile următoare) și dacă s-a mișcat rezultatul firmei (în indicatorii ei, de preferat comparați cu un grup asemănător care n-a făcut trainingul). Doar primul e un chestionar de satisfacție clasic. Ghidul e pentru cine lucrează în HR sau în formare, pentru traineri și pentru șefii de echipă: un plan pentru fiecare nivel, un calendar, un mod de a compara răspunsurile de dinainte și de după și regulile pentru întrebări.

Pe scurt

• Numește întâi rezultatul pe care trainingul trebuie să-l schimbe, apoi planifică în sens invers: comportamentul, învățarea și reacția care duc la el.
• Chestionarul de reacție arată dacă oamenii au găsit trainingul relevant și util, nu dacă au învățat ceva.
• Învățarea o măsori cu un test, un exercițiu sau o comparație înainte și după. O autoevaluare „înainte și acum”, într-un singur chestionar la final, e varianta ieftină.
• Comportamentul îl verifici la participant și la cineva care îi vede munca, de obicei managerul direct, din primele săptămâni, nu abia după câteva luni.
• Ca să compari aceiași oameni înainte și după, îți trebuie un identificator. Spune-le participanților cine vede răspunsurile individuale, prezintă rezultatele doar pe grupuri și nu numi un astfel de sondaj anonim.

Pornește de la rezultatul pe care trainingul trebuie să-l schimbe

Evaluarea unui training verifică dacă programul a adus schimbarea pentru care a fost gândit și ce trebuie corectat dacă n-a adus-o. Firmele o fac din trei motive: ca ediția următoare să iasă mai bine, ca să hotărască dacă păstrează programul și ca să justifice bugetul de training.

Modelul Kirkpatrick, creat de Donald Kirkpatrick în anii 1950, evaluează un training pe patru niveluri: reacție, învățare, comportament și rezultate. Măsori în ordinea asta, dar planifici invers: Kirkpatrick Partners, cei care duc astăzi modelul mai departe, îi sfătuiesc pe cei care proiectează un training să înceapă cu nivelul 4 și cu indicatorii lui. Pentru un call center, lanțul ar putea arăta așa:

1. Rezultat: mai puține reclamații repetate.
2. Comportament: agenții confirmă soluția cu clientul înainte să închidă apelul.
3. Învățare: agenții știu pașii confirmării și îi pot aplica într-un apel real.
4. Reacție: agenții consideră pașii relevanți pentru apelurile pe care le preiau.

Dacă lipsește o verigă, trainingul poate fi plăcut, dar nu poți arăta ce a schimbat. Dintre tipurile de sondaje pentru angajați pe care le fac cele mai multe firme, chestionarul de la finalul trainingului e cel mai des întâlnit, iar el acoperă doar ultima verigă.

Cele patru niveluri ale modelului Kirkpatrick: ce măsoară și cine răspunde

Fiecare nivel cere alte dovezi, de la alți oameni, în alt moment:

Doar nivelul 1 și părți din nivelurile 2 și 3 sunt chestionare pentru participanți. Restul cere teste, oamenii care le văd munca și cifrele firmei. Un chestionar care îi întreabă pe participanți despre toate cele patru niveluri nu face decât să le culeagă părerea de patru ori.

Nivelul 1, reacția: întreabă despre utilitate, nu doar despre satisfacție

Cât de mult le-a plăcut oamenilor un training spune puțin despre cât au învățat. Notele de la final reflectă mai ales experiența din sală: stilul trainerului, interacțiunea, atmosfera. Întrebările despre cât de util și de relevant a fost trainingul sunt mai strâns legate de învățare și de aplicarea în muncă decât cele despre cât le-a plăcut, așa că dă-le lor cea mai mare parte din chestionar:

• Relevanța: „Cât de relevant a fost conținutul pentru munca ta?” (Deloc, Puțin, Moderat, Foarte, Extrem de relevant.)
• Intenția de a aplica: „Cât de probabil este să folosești pașii de confirmare în apelurile din următoarele două săptămâni?”
• Claritatea obiectivelor: „Cât de clare au fost obiectivele trainingului?”
• Trainerul și materialele, evaluate separat: rânduri ca „Explicațiile trainerului”, „Exercițiile” și „Materialele primite”, fiecare notat de la Slab la Excelent. Câte o singură afirmație pe fiecare rând îți arată dacă trebuie să schimbi trainerul sau materialul.
• O notă generală, formulată la fel pentru fiecare training, ca să poți compara programele și furnizorii.

„Ai recomanda acest training unui coleg?” poate rămâne ca întrebare opțională despre intenție. Nu măsoară ce fac oamenii după training.

În Survey.ro, o întrebare „Matrice” cu „Un singur răspuns pe rând” cuprinde rândurile despre trainer și materiale, iar rezultatele arată, pentru fiecare rând, ponderea fiecărui răspuns din totalul rândului. Pagina cu chestionarul de evaluare a trainingului are un model de 9 întrebări scris pentru evenimente, fără rând pentru trainer: întrebările de aici îl transformă în chestionarul de final al unui training.

Nivelul 2, învățarea: un test înainte și după training

Cea mai puternică dovadă de învățare e un test scurt dat înainte de training și din nou la final, metoda pe care Kirkpatrick Partners o numesc tradițională. Ei adaugă că un exercițiu, un joc de rol sau o sarcină în care se vede abilitatea se pot potrivi mai bine cu conținutul. Ține testul scurt și, la final, păstrează aceeași dificultate, dar nu aceleași întrebări cuvânt cu cuvânt: repetarea poate umfla progresul. Dacă cei mai mulți au deja punctaje mari înainte, testul nu mai are cum să arate ce au învățat; măsoară atunci comportamentul.

Testul îl poți construi ca sondaj cu întrebări închise, iar răspunsurile le punctezi tu. O autoevaluare la început și una la final sunt o variantă mai slabă: cine nu știa ce nu știe își notează prea sus nivelul de pornire, iar progresul real nu se mai vede.

Autorii actuali ai modelului, care l-au actualizat în anii 2010 sub numele „New World Kirkpatrick Model”, adaugă la acest nivel două întrebări pe care le socotesc semne timpurii că oamenii vor aplica ce au învățat: încrederea („Sunt sigur/ă că pot aplica pașii de confirmare într-un apel real”) și angajamentul („Îmi propun să folosesc pașii de confirmare la fiecare apel săptămâna viitoare”).

Când nu poți da un test: autoevaluarea retrospectivă „înainte și acum”

Autoevaluarea retrospectivă (în literatura de specialitate, „retrospective pre-test”) e un singur chestionar, dat la final, care cere două note pentru fiecare abilitate: „înainte de training” și „acum”. Oamenii își judecă nivelul de dinainte abia după ce au aflat ce presupune abilitatea, așa că nu și-l mai supraevaluează. În Survey.ro, două întrebări „Matrice” cu aceleași rânduri, una pentru „înainte” și una pentru „acum”, sunt de ajuns.

Ea măsoară învățarea așa cum o percep oamenii, se bazează pe memorie și poate fi influențată de așteptarea de a fi progresat și de dorința de a face o impresie bună. Allen și Nimon (2007) o recomandă când un test real înainte de training nu e posibil, nu în locul lui. Avantajul practic: ambele note stau în același răspuns, deci nu ai nimic de potrivit.

Nivelul 3, comportamentul: întreabă-i pe participant și pe managerul direct

Comportamentul se vede în muncă, așa că părerea participantului e o sursă, nu dovada. Adaugă managerul direct sau, la un training pentru manageri ori pentru traineri, oamenii care văd comportamentul: colegii, subordonații sau, pentru un trainer, participanții la sesiunile lui. Contează și observația directă, și datele din activitatea curentă.

Pune-le participantului și unui observator aceleași două-trei întrebări scurte despre comportamentele numite, separat: două relatări independente despre același comportament îți spun mai mult decât fiecare în parte. De exemplu, îl întrebi pe agent: „În ultimele două săptămâni, cât de des ai confirmat soluția cu clientul înainte să închizi apelul?”, iar pe manager, aceeași întrebare despre agentul respectiv. Variantele sunt Niciodată, Rar, Uneori, Des și Întotdeauna, iar managerul mai primește „Nu am avut ocazia să observ acest lucru”.

Întreabă-i pe manageri doar despre comportamente pe care le pot vedea și raportează separat răspunsurile „Nu am avut ocazia”, niciodată ca zero. Acolo unde managerul nu vede munca, cum se întâmplă la echipele de teren sau la cei care lucrează de la distanță, apelează la colegi, la subordonați sau la datele din activitate. Evaluarea 360 de grade funcționează la fel: pune laolaltă evaluările managerului, ale colegilor și ale subordonaților.

Începe devreme. Kirkpatrick Partners avertizează că măsurarea comportamentului nu poate începe abia la 90 de zile după training: atunci e prea târziu să înlături ce îi împiedică pe oameni. Fă verificări scurte în primele săptămâni și o rundă mai completă după ce oamenii au avut o ocazie reală să folosească abilitatea: pentru o procedură de apel, după câteva săptămâni; pentru o abilitate folosită o dată pe trimestru, după următoarea folosire. Când îl întrebi pe manager, îl implici și pe omul de al cărui sprijin depinde dacă abilitatea se folosește: rezultatele țin de acest sprijin de după training, nu doar de sesiune.

Prezintă fiecare rundă ulterioară cu numărul de răspunsuri, de exemplu „au răspuns 12 din 20 de participanți”. Cei care au aplicat abilitatea răspund mai ușor decât cei care n-au aplicat-o, așa că, atunci când răspund puțini, aplicarea pare mai răspândită decât e. Numărul îți spune și dacă grupul e destul de mare ca să arăți rezultatele: sub 10 respondenți, dă numere, nu procente, lasă răspunsurile la cine le vede deja individual (de exemplu la HR) și pune laolaltă mai multe sesiuni înainte să arăți rezultatele trainerului, furnizorului sau managerilor. Nu cita ce au scris câțiva oameni.

Dacă ai trimis invitații pe e-mail cu monitorizarea răspunsurilor activată, poți trimite tu un al doilea mesaj celor care n-au deschis sondajul din invitația lor; pașii sunt în „Cum configurezi totul în Survey.ro”.

Nivelul 4, rezultatele: indicatorii firmei și un grup de comparație

Rezultatele se măsoară în evidențele firmei, cu indicatori aleși înainte de training: indicatori timpurii, care se mișcă repede, cum e rezolvarea la primul apel, și indicatori finali, care se mișcă mai târziu, cum sunt reclamațiile repetate pe trimestru. Chestionarul participanților nu are niciun rol aici. Un sondaj existent de satisfacție a clienților sau a angajaților poate servi drept indicator, dacă a fost făcut la fel înainte și după. Dacă îi întrebi pe manageri dacă s-a mișcat rezultatul, afli părerea lor despre rezultat, nu rezultatul.

O schimbare între înainte și după nu dovedește singură că trainingul a produs-o: un sistem nou, sezonul sau un manager nou pot mișca aceleași cifre. Ca să poți spune că trainingul a avut efect, compară cu un grup care nu a făcut trainingul, sau nu încă, și măsoară ambele grupuri în mai multe momente. Comparația ține doar dacă cele două grupuri erau asemănătoare înainte de training:

• Compară întâi valorile lor de pornire.
• Nu alege grupul care face trainingul în funcție de rezultatele lui. Voluntarii erau deja motivați, iar echipa cea mai slabă s-ar fi îmbunătățit probabil oricum.
• Dacă introduci trainingul pe etape (o echipă acum, alta în trimestrul următor), stabilește ordinea după ceva fără legătură cu performanța, de exemplu locația sau tragerea la sorți.

Un exemplu publicat de astfel de comparație e un program olandez de training pentru manageri, evaluat cu un grup de control și cu măsurători repetate (Steensma și Groeneveld, Journal of Workplace Learning, 2010). Managerii care au făcut trainingul au progresat la cunoștințe, la comportament și la rezultatele pe termen lung, dar acele „rezultate” erau notele date de colegi într-o evaluare 360 de grade, nu cifre din evidențele firmei.

Calendarul evaluării: când măsori fiecare nivel

Stabilește datele înainte să înceapă trainingul:

La finalul sesiunii, pune linkul pe ultimul slide sau arată un cod QR făcut din link: în planul Business îl creezi în „Distribuie” > „Link către sondaj”, iar în celelalte planuri, cu orice generator de coduri QR. La o sesiune online, lipește linkul în chatul întâlnirii. Trainerul anunță chestionarul și iese din sală sau din apel. Oamenii răspund de pe propriile dispozitive și nimeni nu strânge telefoanele și nu se uită pe ecrane: când nu-i vede nimeni, e mai probabil să răspundă sincer. Rundele următoare pleacă pe e-mail, iar trimiterea o poți programa cu „Trimite la o anumită oră”.

Kirkpatrick Partners socotesc un singur sondaj la sfârșitul unui program o greșeală clasică, pentru că atunci e prea târziu să mai schimbi ceva. Câteva minute prevăzute în agendă nu-i costă nimic pe participanți, iar acela e singurul moment în care toți sunt de față și detaliile sunt proaspete.

Cum compari răspunsurile de dinainte și de după

Poți compara grupuri fără să știi cine a răspuns: media de dinainte cu media de după. Ca să vezi schimbarea fiecărei persoane sau să pui răspunsurile unui participant lângă cele ale managerului său, îți trebuie un identificator, iar atunci sondajul nu mai e anonim. Hotărăște de ce ai nevoie înainte să trimiți primul sondaj.

Cinci variante, de la cea mai simplă la cea mai riguroasă

1. Comparație pe grupuri, fără identificator. Două sondaje prin link general; compari mediile sau ponderile. E varianta cea mai ieftină. Arată schimbarea în grup, nu la o persoană, iar cei care răspund înainte și după pot fi alți oameni.
2. Autoevaluarea retrospectivă, din „Când nu poți da un test”: nu ai nimic de potrivit.
3. Invitații pe e-mail cu monitorizarea răspunsurilor. Monitorizarea e dezactivată implicit. Când e activată, fiecare răspuns se leagă de adresa destinatarului, invitația îi anunță pe destinatari că autorul sondajului vede răspunsurile trimise de pe adresa lor, iar tu deschizi răspunsurile fiecăruia din lista de destinatari. Exporturile în Excel și CSV nu conțin adresa, așa că pentru a uni două sondaje persoană cu persoană îți trebuie tot o întrebare care poartă un identificator.
4. O întrebare pentru cod. O întrebare opțională „Un singur rând”, pusă în ambele sondaje, pentru un cod pe care i-l dai fiecărei persoane (de exemplu pe un cartonaș, la sesiune) sau pentru adresa de e-mail, cu o frază care spune de ce întrebi și cine o poate citi. Unești cele două exporturi Excel după acest câmp și accepți că unele răspunsuri nu se vor potrivi. Cine are lista codurilor poate identifica oamenii.
5. Un cod construit de participant. Aceleași trei-patru întrebări scurte în ambele chestionare, fiecare cerând o literă sau o cifră din lucruri pe care doar participantul le știe, de exemplu prima literă a prenumelui mamei sau ziua din lună în care s-a născut. Unești exporturile după codul rezultat; nimeni nu are o listă care să lege un cod de o persoană. Câteva coduri nu se vor potrivi, cu atât mai multe cu cât intervalul e mai lung, așa că varianta merge mai bine pentru o pereche început–final decât pentru o verificare după câteva luni. Trimite ambele chestionare prin link general sau prin invitație pe e-mail cu monitorizarea răspunsurilor dezactivată, ca niciun răspuns să nu fie legat de o adresă.

Ce le spui participanților despre confidențialitate

Spune-le cine vede răspunsurile individuale (de exemplu doar HR, nu trainerul și nu managerul), că trainerul sau furnizorul primește un rezumat, nu răspunsurile fiecăruia, și că rezultatele se prezintă doar pe grupuri. Scrie asta în introducerea sondajului și în invitație. Pentru formulări, vezi diferența dintre anonim și confidențial.

Într-un grup foarte mic, chiar și un rezumat poate da de gol o persoană. Survey.ro nu impune un număr minim de răspunsuri, așa că verifici tu: arată rezultatele unui grup abia de la 10 respondenți, iar grupurile mai mici le pui laolaltă cu alte sesiuni înainte să prezinți rezultatele pe echipe.

Opt reguli pentru chestionar

Se aplică la fiecare dintre chestionarele de mai sus:

1. Ține-l scurt. Chestionarul de la finalul sesiunii ar trebui să ia câteva minute; modelul de pe pagina de exemplu se completează în 3–4 minute. Într-un experiment cu un sondaj online, o durată anunțată mai lungă a însemnat că mai puțini oameni au început și au terminat, iar răspunsurile de la sfârșitul chestionarului au devenit mai rapide, mai scurte și mai uniforme (Galesic și Bosnjak, 2009).
2. Leagă fiecare întrebare de un obiectiv și de un nivel. Dacă nu poți spune ce decizie va schimba un răspuns, renunță la întrebare.
3. Întreabă doar despre ce poți schimba. Dacă sala nu se poate schimba, nu întreba despre sală.
4. Folosește mai ales întrebări închise. Se analizează mai ușor și sunt sărite mult mai rar: în panelul Pew Research Center, recrutat din populația generală, aproximativ 1–2% dintre respondenți au sărit o întrebare închisă, față de aproximativ 18% în medie la întrebările deschise (Pew, 2021). La un chestionar de training cifrele vor fi altele, dar direcția rămâne aceeași.
5. Pune o întrebare, nu o afirmație cu care respondentul să fie de acord, și denumește fiecare treaptă a scalei. „Cât de relevant a fost conținutul pentru munca ta?”, cu cinci variante denumite, funcționează mai bine decât o afirmație de tip acord–dezacord, care îi împinge pe oameni să aprobe doar ca să aprobe. Dacă păstrezi afirmații de acord–dezacord, cinci trepte funcționează mai bine decât șapte sau unsprezece (Revilla, Saris și Krosnick, 2014). Limitează listele de variante la vreo cinci și păstrează „Da” și „Nu” pentru fapte: „Ai folosit pașii de confirmare de la training încoace?”
6. Încheie cu o singură întrebare deschisă, opțională, de exemplu „Care e un lucru pe care l-ai schimba ca trainingul să-ți fie mai util în muncă?”
7. Păstrează aceleași întrebări de bază de la un training la altul, ca să compari în timp programele, trainerii și furnizorii.
8. Fă o pretestare. Încearcă chestionarul pe două-trei persoane care nu l-au scris, în limba în care va fi folosit, și corectează tot ce le-a încurcat.

Cum configurezi totul în Survey.ro

1. Construiește chestionarul de final. Pe pagina de exemplu, deschide modelul „Sondaj de opinie legat de performanța evenimentului organizat” și adaptează-l cu rândurile pentru trainer și materiale și cu întrebările de la nivelurile 1 și 2, sau creează un sondaj nou.
2. Fă o copie pentru fiecare rundă următoare, ca fiecare rundă să aibă rezultatele ei: creezi un sondaj nou și alegi sondajul vechi din lista de sub „Copiază acest sondaj”. Cu setarea implicită „Un singur răspuns per dispozitiv (PC, tabletă sau mobil)”, un participant care redeschide același sondaj în decurs de un an își vede răspunsurile de data trecută și le poate doar modifica.
3. Pentru nivelul 3, fă un sondaj pentru participanți și unul pentru manageri și ține destinatarii în liste de e-mail (în „Listă de email-uri”). O listă poate păstra până la cinci valori suplimentare pentru fiecare persoană, de exemplu echipa sau „instruit” și „comparație”, după care poți filtra mai târziu rezultatele. Activează monitorizarea răspunsurilor și abia apoi trimite invitațiile. Mai târziu poți trimite tu un al doilea mesaj, cu opțiunea „Nu au răspuns la invitația pe e-mail”: ajunge la cei care nu au deschis sondajul din invitația lor, nu și la cei care l-au deschis și s-au oprit (cu monitorizarea dezactivată, opțiunea îi alege pe toți). Survey.ro nu trimite singur mesaje ulterioare. Ca sondajul pentru manageri să nu poată fi deschis din linkul general, restricționează răspunsurile la cei invitați pe e-mail. Mai multe despre cum trimiți invitații personale pe e-mail.
4. Citește rezultatele pe grupuri cu filtrul „Valoarea email-ului este egală cu” (și el cere monitorizarea răspunsurilor) și folosește „Exportă în Excel” ca să pui două runde una lângă alta într-un tabel. Survey.ro nu compară două sondaje în locul tău.
5. Adaugă o întrebare pentru cod (variantele 4 și 5 din „Cinci variante, de la cea mai simplă la cea mai riguroasă”) dacă trebuie să potrivești răspunsurile persoană cu persoană.

Ce reții

Numește întâi rezultatul și mergi înapoi spre comportamentul, învățarea și reacția care duc la el; apoi măsoară în ordinea inversă. Chestionarul de reacție e începutul, nu dovada. Testează învățarea înainte și la final sau, când nu poți, folosește autoevaluarea retrospectivă. Întreabă-i pe participant și pe cineva care îi vede munca în câteva săptămâni, nu în câteva luni. Citește rezultatul în indicatorii firmei, comparat cu un grup care era asemănător înainte de training.

Înainte de primul sondaj, hotărăște dacă trebuie să potrivești răspunsurile persoană cu persoană și spune-le participanților cine le va vedea.

Începe cu chestionarul de la finalul sesiunii: întrebările de nivel 1 și testul sau autoevaluarea retrospectivă.

Citește și

• De ce pleacă angajații: cum afli motivele reale cu un sondaj online
• Rezultatele sondajului angajaților: ce faci după, pas cu pas
• Tipuri de sondaje pentru angajați: ce alegi și când