Model Kirkpatricka – co oceniamy badając efektywność szkoleń?

Gdy tylko zaczynamy mówić o ocenie efektywności szkoleń, z szafy wychodzi Donald Kirkpatrick. Jego czteropoziomowy model oceny efektywności szkoleń zwany po prostu Modelem Kirkpatricka, jest jedną z najlepiej znanych i akceptowanych w świecie Learning & Develepment koncepcji.

Kirkpatrick mówi, że szkolenia możemy oceniać na czterech poziomach: reakcji uczestników; tego, czego się nauczyli; ich zachowań w miejscu pracy oraz osiąganych przez organizację wyników.  

Mimo że koncepcja ta jest doskonale znana od ponad 60 lat, rzadko można praktyce spotkać ocenę przeprowadzoną na wszystkich, czterech poziomach. O ile 80% — 90% przedsiębiorstw bada pierwszy poziom (reakcje uczestników, najczęściej za pomocą ankiet oceniających), o tyle czwarty poziom (wpływ szkolenia na wyniki organizacji) jest badany w nie więcej niż 5% -15% przedsiębiorstw. Mówiąc inaczej, w praktyce, stosowanie modelu Kirkpatricka sprowadza się do robienia po szkoleniu ankiet satysfakcji, albo w wyjątkowych przypadkach egzaminowania uczestników (poziom uczenia się).

Przyczyną nie jest jednak niefrasobliwość i niesolidność trenerów, menedżerów, czy działów HR, ale niedostatki samego modelu Kirkpatricka.

Jego koncepcja jest prosta, klarowna i przejrzysta; ma wiele zalet i na wiele cennych rzeczy zwraca uwagę. Nie do końca jednak pasuje do warunków, w jakich dziś funkcjonują działy Learning & Development.

Co prawda kilkanaście lat temu model doczekał się nowej, poprawionej wersji (jako  „Nowy model Kirpatricka”, stworzony przez syna i synową Donalda), jednak  jest to raczej marketingowy rebranding, który nie eliminuje niedostatków modelu.

W tym tekście przyjrzymy się zaletom i wadom modelu Kirkpatricka oraz pokażemy, w jaki sposób można go rozbudować, by stał się bardziej przydatny.

Jakie są cztery poziomy oceny szkolenia według Kirkpatricka?

Ponad 60 lat temu, w 1959 roku Donald Kirkpatrick zaproponował, by oceniając szkolenia brać pod uwagę cztery typy zmiennych:

• Reakcję uczestników(to, co uczestnicy mają do powiedzenia na temat szkolenia, ich satysfakcję z przebytego szkolenia)
• Uczenie się (zmiany w poziomie wiedzy, umiejętności oraz postaw, jakie zachodzą pod wpływem szkolenia w uczestnikach)
• Zachowania (transfer szkoleniowy, tzn. zmiany w sposobie wykonywania zadań przez uczestników szkolenia na stanowisku pracy)
• Wyniki (wpływ szkolenia na rezultaty działania organizacji).

Ta propozycja  znana dziś pod nazwą Modelu Ewaluacji Szkoleń Kirkpatricka (lub w skrócie Modelu Kirkpatricka) jest jedną z najbardziej stabilnych koncepcji w świecie Human Resources.

Model doczekał się kilku uzupełnień w postaci dodatkowych poziomów. Na przykład Jack Phillips zaproponował piąty poziom ROI (zwrot z inwestycji), a Kaufman zaproponował poziom nazwany wartościami społecznymi. Zmiany te jednak nie wpłynęły w istotny sposób na model, są to po prostu rozwinięcia ostatniego poziomu Kirkpaticka.

Poziom I: Ocena reakcji

Kto nie wypełniał arkusza oceny szkolenia, tuż przed jego zakończeniem? To właśnie poziom reakcji.

Oceniając szkolenie na tym poziomie, robimy dokładnie to samo, co robi właściciel hotelu, gdy prosi swoich gości o wypełnienie ankiety dotyczącej tego, jak im się podobało w hotelu, lub właściciel restauracji, pytający o to, jak smakował obiad. To poziom „arkuszy uśmiechów” (smile sheets).

Pytamy uczestników o to, jak im się szkolenia podobało: czy byłeś zadowolony; czy szkolenie było ciekawe; czy wszystko zrozumiałeś; czy to, o czym mówił prowadzący, miało w ogóle związek z twoją pracą (lub życiem); czy myślisz, że to, czego się nauczyłeś, zastosujesz w praktyce itp.

Najczęściej stosowaną metodą są tutaj kwestionariusze wypełniane po szkoleniu lub w jego trakcie (jeżeli szkolenie trwa kilka dni, warto stosować ankiety po każdym dniu). Czasem oprócz ankiet, przeprowadzane są także wywiady z wybranymi uczestnikami, pozwalające pogłębić zebrane informacje.

Ocena zadowolenia uczestników jest niezwykle istotna. Jeżeli zajęcia prowadzone są w sposób nieciekawy, niezrozumiały i mało motywujący, maleje szansa, że uczestnicy czegoś się w ich trakcie nauczą.

Problem z tym poziomem jest taki, że informacje, jakie uzyskamy, mogą być mało wiarygodne. Łatwo sobie wyobrazić scenariusz, w którym uczestnicy są bardzo zadowolenie ze szkolenia, ale niestety, niewiele się nauczyli. Trener opowiadał świetne historyjki, jego dowcipy były zabawne, gry były wciągające —  ale nic z tego nie miało przełożenia na praktyczne umiejętności czy wiedzę. Zadowoleni uczestnicy to warunek konieczny, ale niewystarczający do tego, by szkolenie było efektywne.

Dużą umiejętnością jest uzyskanie na tym poziomie uczciwych odpowiedzi. Niektórzy z trenerów, celowo lub mimowolnie manipulują tym, co uczestnicy wpisują w ankietach. Na przykład trener mówi tuż przed rozdaniem ankiet: „Byliście wspaniałą, cudowną grupą, naprawdę… będę wdzięczna za wypełnienie takiej ankietki, od której zależy ocena mojej pracy, mam nadzieję, że spojrzycie państwo na mnie życzliwym okiem…”, Czy po takim wstępie uczestnik będzie miał serce do tego, by przyznać się, że szkolenie było nudne, chaotyczne i przegadane? Nawet bez takiego manipulacyjnego wstępu, wielu uczestnikom trudno jest wyrazić swoje prawdziwe opinie. W końcu mało jest ludzi, którzy chcą zaszkodzić osobie, z którą spędzili trochę czasu.

Poziom II: Ocena uczenia się

Oczywiście nie o samo zadowolenie uczestników chodzi w szkoleniach. Drugi poziom to ocena tego, czy uczestnicy nauczyli się czegoś, czy zdobyli w trakcie szkolenia jakąkolwiek wiedzę, umiejętności albo czy zmienili swoje postawy.

Przydają się tutaj testy wiedzy i umiejętności, sprawdziany, egzaminy,  zadania końcowe — wszystko, za pomocą czego możesz stwierdzić, czy uczestnik coś przyswoił.

Na tym poziomie można zastosować także samoocenę — uczestnik sam ocenia, czy nauczył się czegoś nowego podczas szkolenia. Taka samoocena jest oczywiście mniej wiarygodna niż jakaś forma praktycznego sprawdzianu, nie mniej jednak z racji jej niskich kosztów i negatywnej  atmosfery, jaką wzbudzają egzaminy czy sprawdziany końcowe, dość często jest stosowana.

Aby wiarygodnie ocenić zmiany, jakie zaszły na tym poziomie, potrzebujemy mieć z czym porównać wyniki. To, że uczestnik ma jakąś umiejętność po szkoleniu, niekoniecznie musi być efektem tego szkolenia. Być może potrafił to przed szkoleniem. Może nauczył się tego z innego źródła. Jeżeli uczestnik nie zaczyna nauki od absolutnego zera (nie dysponował żadnymi informacjami, ani umiejętnościami z zakresu szkolenia), aby mieć pewność, że nasze szkolenie jest skuteczne, potrzebujemy zrobić test czy sprawdzian nie tylko po szkoleniu, ale także przed nim.

Możemy także zbadać poziom wiedzy i umiejętności w grupie kontrolnej (która nie była szkolenia). Jeżeli jest to porównywalna grupa, różnica w poziomie wiedzy pokaże nam efekt szkolenia.

Poziom III: Ocena zachowań w miejscu pracy

Na tym poziomie oceniamy rzeczywiste zachowania uczestnika po powrocie ze szkolenia do swojego miejsca pracy. Czy pod wpływem szkolenia zacząłeś robić coś innego niż do tej pory? Czy zmieniłeś sposób, w jaki wykonujesz swoje zadania?

Jeżeli np. szkolenie dotyczyło obsługi klienta, czy pracownicy odpowiadają na pytania klienta w taki sposób, w jaki ich nauczono? Jeżeli to było szkolenie z prowadzenia rozmów oceniających, czy przełożeni prowadzą je zgodnie ze scenariuszem, jaki ćwiczyli na szkoleniu?

Jeżeli tak, to mamy do czynienia z czymś, co bywa nazywane w żargonie HR — transferem wiedzy i umiejętności. Wiedza i umiejętności, które pojawiły się na szkoleniu przeniosły się (transferowały) do codzienności.

Ten poziom to coś, co bardzo interesuje przełożonych zamawiających szkolenie. Szkolenia nie są przecież częścią edukacji, zazwyczaj nie chodzi w nich o to, by pracownicy mieli poczucie „że się rozwijają”, chodzi o to, by coś się naprawdę zmieniało.

Problem w tym, że sprawdzenie transferu jest znacznie droższe i bardziej pracochłonne niż sprawdzenie tego, czy się czegoś nowego nauczyłeś (poziom II) oraz jak ci się szkolenie podobało (poziom I).

W jaki sposób można to zrobić? Najprostszym sposobem (ale najmniej wiarygodnym) jest ankieta follow-up wypełniona przez uczestnika (może to być także wywiad follow-up).

Bardziej obiektywnych danych dostarcza ankieta (lub wywiad) z przełożonymi lub współpracownikami osób szkolonych.

Najbardziej wiarygodnych danych dostarcza obserwacja. Aby taką obserwację przeprowadzić przygotowujemy specjalny arkusz obserwacji pracownika w miejscu pracy oraz, szkolimy obserwatorów. Podobnie jak w przypadku oceny zmian we wiedzy i umiejętnościach, aby upewnić się, że zmiany w zachowaniach są efektem szkolenia, potrzebujemy danych porównawczych — pomiarów sprzed szkolenia, albo z grupy kontrolnej.

O ile w przypadku dwóch pierwszych poziomów, dane zbieramy bezpośrednio po szkoleniu, tutaj musimy trochę poczekać. W przypadku wielu szkoleń, tuż po szkoleniu ludzie zmieniają swoje zachowania. Zmiana jednak nie utrzymuje się długo. Dwa, trzy tygodnie później, nie ma po niej śladu.

Tymczasem tym, na czym najbardziej zależy jest trwała zmiana. W zależności od typu umiejętności, takie badanie transferu odbywa się zazwyczaj w okresie od trzech do sześciu miesięcy po szkoleniu.

Poziom IV: Ocena wyników

Na tym poziomie badamy, w jaki sposób szkolenie wpływa na wyniki organizacji (firmy lub działu): Czy pomaga jej sprawniej funkcjonować? Czy efektem szkolenia są lepsze wyniki osiągane przez pracowników? Czy zastosowanie nowych umiejętności generuje jakieś zyski?

Ten poziom oceny szkolenia jest najtrudniejszy do przeprowadzenia  i z tego względu niewiele firm go realizuje.

Czasem jednak nie potrzeba specjalnych badań ani dodatkowych nakładów, by ocenić szkolenie na tym poziomie.

Brałem kiedyś udział w ocenie szkolenia przedstawicieli handlowych firmy telekomunikacyjnej, w zakresie jazdy w warunkach zimowych. To było kilkugodzinne szkolenie, w którego trakcie uczestnicy uczyli się od kierowców rajdowych takich rzeczy jak np. radzenie sobie z poślizgiem.

Aby ocenić wpływ tego szkolenia na wyniki firmy, porównaliśmy ilość wypadków i stłuczek (i związanych z nimi kosztów) przed szkoleniem oraz po szkoleniu, w dwóch grupach: przeszkolonych pracowników, oraz tych, którzy nie przeszli szkolenia.

Na przestrzeni kilku miesięcy, w grupie, która nie przeszła szkolenia ilość stłuczek i wypadków nie uległa istotnym zmianom (biorąc pod uwagę różnice sezonowe i pogodowe). Natomiast w grupie, która wzięła udział w szkoleniu, odsetek ten znacznie spadł. Wiązało się to z oszczędnościami, które kilkakrotnie przekroczyły koszty szkolenia. Zysk z inwestycji, jaką było szkolenie (ROI) wynosił około 800%. Najlepsze w tym wszystkim było to, że firma dysponowała danymi do tego, by obliczyć ten współczynnik. Wystarczyło jedynie, by dział szkoleń z tych danych skorzystał, opracował je i przedstawił zarządowi.

Co jest cennego w modelu oceny szkoleń Kirkpatricka?

Z wielu względów Model Kirkpatricka jest cenny. Przede wszystkim jest prosty, klarowny i elegancki. Łatwo go zrozumieć.

Cenne jest także to, że uświadamia szkoleniowcom i decydentom, iż efekty szkolenia są wielowymiarowe (nie wystarczy zmierzyć jednej zmiennej). Model podpowiada także narzędzie i porządkuje proces ewaluacji. 

Dużą zasługą modelu jest także uświadomienie ostatecznego celu szkoleń, jakim są wyniki (czwarty poziom) oraz zmiany w zachowaniach (poziom trzeci).

Model Kirkpatricka stanowi zatem doskonały punkty wyjścia do tego, by zaplanować ocenę szkolenia.

Ograniczenia i słabości modelu Kirkpatricka

Mimo tych zalet i zasług, model Kirkpatricka jest często krytykowany. Profesor Zarządzania Zasobami Ludzkimi Elwood Holton pisze np.:

Ciągle rosnąca globalna konkurencja wywołuje mocną presję na działy Human Resources, by demonstrowały, jaki wkład ich programy wnoszą w kluczowe wyniki organizacji. Tymczasem dominujący model ewaluacji, czteropoziomowy model Kirkpatricka czyni je źle przygotowanymi do radzenia sobie z tą presją.

Model czterech poziomów efektywności, mimo że przydatny, nie daje działom szkoleń odpowiednich narzędzi do tego, by sprawnie alokować zasoby i podnosić efektywność swoich projektów.

Poza tym model ten, w niektórych aspektach działania szkoleń wprowadza praktyków w błąd, utrudniając osiągnięcie takich efektów, jakie byłyby możliwe.

Jakie są słabości tego modelu? Oto niektóre zarzuty stawiane mu w fachowych publikacjach^[1]:

Model zakłada hierarchiczność poziomów, co jest niezgodne z rzeczywistością. Zgodnie z modelem, większa satysfakcja prowadzi do większego uczenia się, to z kolei do większych zmian w zachowaniach, co wiąże się z lepszymi wynikami. Nie ma jednak dowodów na to, że tak właśnie działa szkolenie. Metaanaliza kilkuset badań nie wykazała tego rodzaju mechanizmów (Alliger, G. M., & Janak, E. A. (1989). Kirkpatrick’s levels of training criteria: thirty years later. Personnel Psychology, 42, 331–342). 

Nacisk na badanie satysfakcji uczestników. Model mówi o III i IV poziomie, jednak w praktyce akcenty nie są rozłożone równomiernie. Osoby posługujące się  modelem skupiają się zazwyczaj na najniższych poziomach. Poziom pierwszy przesłania pozostałe poziomy. Potwierdzają to statystyki. Według ankiety przeprowadzonej kilkanaście lat temu przez ASTD poziom satysfakcji bada 77% firm, 38% monitoruje zmiany na poziomie wiedzy i umiejętności, 14% transfer i tylko 7% rezultaty i wpływ szkolenia na biznes. 

Koncentracja na tym, co dzieje się po szkoleniu. Ocena efektywności przeprowadzana zgodnie z modelem Kirkpatricka skupia się na tym, co dzieje się po szkoleniu. Dzięki ankietom, testom, wywiadom czy kwestionariuszom jesteśmy w stanie powiedzieć, czy szkolenie się udało, czy nie. Model czterech poziomów ewaluacji nadaje się do podsumowywania, nie nadaje się jednak do tego, by dostarczać bieżących informacji zwrotnych, za pomocą których można modyfikować proces szkoleniowy, gdy coś idzie nie tak.

Model nie uwzględnia ważnych zmiennych. Model czterech poziomów opisuje jedynie część zmiennych, które mają wpływ na efekty szkoleń, wycinek tego, w jaki sposób działają szkolenia. Jak pisze R. Bates z Louisiana State University:

Czteropoziomowy model prezentuje nadmiernie uproszczoną wizję efektywności szkoleń, która nie uwzględnia podczas ewaluacji szkoleń czynników indywidualnych oraz związanych ze środowiskiem, w którym funkcjonują uczestnicy szkoleń (czynników kontekstowych).

Model nie bierze pod uwagę np. motywacji uczestników (szkoleniowej oraz do transferu), wsparcia ze strony przełożonych czy spójność szkolenia z procedurami, technologiami lub klimatem organizacyjnym.

Model nie uwzględnia w pełni innych uczestników projektu szkoleniowego. Skupia się tylko na uczestnikach, podczas gdy sukces szkolenia zależy w ogromnym stopniu także od  bezpośrednich kierowników, przełożonych wyższego szczebla, współpracowników czy podwładnych.

Model traktuje szkolenia w zbyt wąski sposób.  Aby szkolenie było skuteczne, należy je traktować jako część większego  projektu, W realizację tego projektu powinni być zaangażowani nie tylko trenerzy i uczestnicy, ale także przełożeni, zarząd, współpracownicy czy nawet klienci; działania w ramach projektu nie powinny sprowadzać się jedynie do szkoleń. Kluczowe dla skuteczności projektu szkoleniowego są często zmiany w kontekście pracy (np. nowe oprogramowanie, nowe regulaminy czy nowe narzędzia), a badania skuteczności takich działań model nie zakłada.

W modelu Kirkpatricka nie jest do końca jasne, co jest zmienną a co sposobem pomiaru. Czym jest „reakcja uczestnika”?

Jeżeli zapytamy go: „Czy fajnie się bawiłeś?”, będzie ona wskaźnikiem ogólnej satysfakcji ze szkolenia albo nawet ogólnego samopoczucia w momencie ukończenia szkolenia.

Jeżeli zapytamy: „Czy trener angażował cię do udziału w zajęciach?”, będzie wskaźnikiem jakości pracy trenera.

Jeżeli zapytamy: „Czy masz w planach zastosować to, czego się nauczyłeś?” — będzie wskaźnikiem motywacji do transferu.

Gdy z kolei zadamy pytanie o to „Jak myślisz, czy to, czego się nauczyłeś, pozwoli ci zaoszczędzić czas pracy?”, odpowiedź będzie, co prawda mało wiarygodnym, ale wciąż wskaźnikiem transferu szkoleniowego.

Czy model Kirkpatricka opisuje sposób działania szkolenia?

To, co w 1959 roku zaproponował Donald Kirkpatrick, w rzeczywistości nie miało być modelem, ale prostą klasyfikacją sposobów badania efektywności szkoleń. Jak wyjaśnia we wstępie do drugiego wydania swojej książki, gdy pisał swój artykuł, panował spory rozgardiasz, jeżeli chodzi o to, co uważano za badanie efektywności szkoleń. Jedni twierdzili, że oceniać szkolenia to robić ankiety satysfakcji, inni — robić sprawdziany wiedzy i umiejętności, inni — obserwować zachowania w miejscu pracy, inni —  monitorować wyniki. Ale tak naprawdę, stwierdził Kirkpatrick, każdy miał rację. Każda z tych metod bada to samo, tylko na innym poziomie.  

Z czasem ta prosta typologia sposobów zbierania danych zaczęła funkcjonować jako „model”. Co to jednak znaczy model? W tym sensie, w jakim używamy tutaj tego słowa, model to coś więcej niż klasyfikacja. Nie tylko wylicza, ale także pokazuje mechanizm działania. Model jest uproszczoną reprezentacją rzeczywistości (jak np. rozwieszony pod sufitem model układu słonecznego, w którym piłki są planetami, a lampa słońcem). Model pozwala zrozumieć, co się dzieje, ale nie tylko. Pokazując relacje przyczynowo — skutkowe (co na co wpływa i w jaki sposób), pozwala przewidywać skutki działania.

Problem z Kirkpatrickiem zaczyna się wtedy, gdy zaczynamy go traktować, jako model działania szkolenia, to znaczy jako opis tego, w jaki sposób szkolenie wywiera wpływ na uczestników oraz na wyniki firmy. To znaczy, gdy zakładamy, że satysfakcja uczestnika prowadzi do nabycia wiedzy i umiejętności, następnie do zmian w zachowaniach, a potem do poprawy wyników.

Czy tak jest naprawdę?

Czy większa satysfakcja ze szkolenia, rzeczywiście zawsze prowadzi do tego, że więcej się uczymy?  Kirkpatrick pisze: „Jeżeli szkolenie ma być efektywne, uczestnicy muszą reagować na niego pozytywnie”. Czy rzeczywiście?

Większość z nas pamięta nauczycieli, którzy nie byli zanadto mili, ale mimo tego wiele nas nauczyli. Bywa tak nie tylko w szkołach. Oto przypadek trenera z firmy Century 21 (agencja nieruchomości działająca w ponad 70 krajach), opisany w  Training Magazine:

Trener, którego oceny w ankietach satysfakcji znajdowały się w jednej trzeciej najniższych wyników, okazał się najbardziej efektywny, gdy przeanalizowano wyniki pracy uczestników jego szkoleń, w trakcie trzech miesięcy od ukończenia szkolenia. (Sarah Boehle, „Are you too nice to train?” Training Magazine, 8 sierpnia 2006)

Następne kroki w modelu Kirkpatricka również wzbudzają wątpliwości.  Czy uczenie się zawsze prowadzi do zmian w zachowaniach? Jak często ludzie sporo uczą się na szkoleniu, a potem okazuje się, że nie mogą, albo nie chcą, zastosować tego w miejscu pracy?

Kirkpatrick pisze: „Bez zmian na poziomie uczenia się, nie nastąpią zmiany w zakresie zachowań”. Znowu założenie jest nieprawdziwe. Nie zawsze chodzi o zmiany w umiejętnościach, czasem istotniejsza jest zmiana np. w poczuciu własnej skuteczności (self efficacy), uporządkowanie wiedzy, zmiana w poziomie motywacji czy nawet nawiązanie bezpośrednich kontaktów pomiędzy uczestnikami.

Następne pytanie, czy zastosowanie tego, czego się nauczyłeś, zawsze prowadzi do poprawy wyników firmy? Jednym z moich pierwszych klientów, jako konsultanta szkoleniowego był pewien bank. Moim zadaniem była ocena efektywności szkoleń miękkich. Jednym z takich szkoleń, które tam  przeprowadzono, były modne wówczas warsztaty z asertywności. Uczestnicy byli zachwyceni, co więcej dużo się nauczyli. Trener na tyle dobrze wykonał swoją pracę, że wiedzieli, jak wyrazić w asertywny sposób swoje zdanie, jak się nie zgodzić na nadgodziny czy też, jak nie dać sobą manipulować. Co więcej, uczestnicy zastosowali swoje umiejętności w miejscu pracy. W efekcie kilka osób asertywnie zwolniło się i przeszło do konkurencji. Aby uzupełnić braki kadrowe, bank musiał ponieść koszty rekrutacji i przyuczenia nowych osób na dość specjalistyczne stanowiska. Szkolenie nie tylko nie przyczyniło się do poprawy wyników firmy, ale naraziło ją na dodatkowe koszty.

Badania naukowe nie wykazują korelacji pomiędzy poszczególnymi poziomami. Metaanaliza badań, w których wzięto pod uwagę ponad 200 publikacji, wykazała, że brak jest korelacji między poziomami lub jest ona niewielka (patrz: Alliger, G. M., & Janak, E. A. (1989). Kirkpatrick’s levels of training criteria: thirty years later. Personnel Psychology, 42, 331–342).

Sprawa efektywności szkoleń nie jest taka prosta, jak sugeruje model Kirkpatricka: nie wystarczy wzbudzić w uczestnikach satysfakcji ze szkolenia i liczyć na to,  że wyniki firmy się poprawią. A jeżeli nie wystarczy, to znaczy, że model pomija jakieś istotne zmienne, nie bierze pod uwagę czegoś ważnego.

Jak w takim razie działa skuteczne szkolenie? Jak poprawić model Kirkpatricka, byśmy nie musieli z efektami naszych szkoleń błądzić we mgle?

Kompletny Model Efektywnego Szkolenia

Poniżej znajdziesz pełniejszy model działania efektywnego szkolenia. Model ten oparty jest na propozycji Baldwina i Forda opublikowanej w Personnel Psychology (wprowadziliśmy do niego kilka zmian), Jeżeli dobrze przyjrzeć się modelowi, jego środkowa część jest w zasadzie zestawem poziomów, o których mówi Kirkpatrick (choć zamiast satysfakcji mówimy o jakości szkolenia).

Ten model efektywnego szkolenie obejmuje 6 zmiennych i są to:

Jakość szkolenia

• Czy szkolenie jest dobrze zaprojektowane? Czy szkolenie spełnia zasady dobrych praktyk szkoleniowych?
• Czy szkolenie odnosi się do pracy uczestników?
• Czy szkolenie jest dobrze prowadzone?

Motywacja i postawy uczestników

• Jaki jest poziom motywacji do uczenia się wśród uczestników?
• Jaki jest poziom motywacji do transferu?
• Jaki jest poziom poczucia skuteczności uczestników?
• Jakie są postawy względem zmian / przedsiębiorstwa / szkoleń?
• Jaki jest poziom poczucia własnej skuteczności uczestników?

Wiedza i umiejętności uczestników

• Jaki jest poziom wiedzy uczestników?
• Jaki jest poziom ich umiejętności?

Kontekst szkolenia (środowisko organizacyjne)

• Czy istnieje wsparcie ze strony przełożonych do tego, czego uczestnicy nabywają podczas szkolenia?
• Czy procedury przekazywane podczas szkolenia są spójne z procedurami organizacyjnymi?
• Czy istnieją warunki do transferu?

Transfer szkoleniowy (zachowanie w miejscu pracy)

• W jaki sposób uczestnicy wykonują swoje zadania?
• Czy po powrocie do swojej pracy, uczestnicy zmienili coś w sposobie wykonywania swoich zadań?

Wyniki

• Czy zmiana w sposobie wykonywania zadań, doprowadziła do  jakichś konkretnych, obserwowalnych zmian w wynikach?

Jak oceniać efektywność szkoleń?

Wiemy, jakie zmienne mają wpływ na efekty szkolenia, ale jak w praktyce oceniać szkolenie? Czy wprowadzenie dodatkowych zmiennych w modelu nie komplikuje zanadto sprawy? 

Niekoniecznie. Aby zaplanować proces oceny efektywności, wystarczy odpowiedzieć sobie na trzy pytania:

• Co chcemy mierzyć? Jakiego rodzaju zmienne nas interesują?
• W jaki sposób  będziemy zbierać informacje?
• Kiedy chcemy dokonywać pomorów?

Gdy odpowiemy sobie na te trzy pytania, jesteśmy w stanie szybko sporządzić tabelę z planem tego, co badamy.

Zaletą takiego podejścia jest jego elastyczność. Każde szkolenia będzie oceniane w nieco inny sposób. Nie ma przecież powodów, by wszystko oceniać tak samo.

Znacznie lepiej jest zaplanować w odniesieniu do każdego ze szkoleń  odpowiedni zestaw technik badawczych, który będzie uwzględniał koszty szkolenia, jego specyfikę, wagę umiejętności, ilość przeszkolonych pracowników oraz dokładność pomiaru, jaką chcemy osiągnąć.

Są sytuacje, w których wystarczy nam bardzo ogólny pomiar efektów szkolenia (bo np. szkolenie nie jest drogie, albo nie dotyczy strategicznych umiejętności).

Są także sytuacje, gdy pomiar efektów powinien być maksymalnie obiektywny, precyzyjny wiarygodny (bo np. szkolenie dotyczy strategicznych dla naszej firmy umiejętności).

Sposób zbierania informacji

Informacje na temat każdej ze zmiennych mogą zostać zebrane za pomocą różnych narzędzi oraz z różnych źródeł.

Narzędziami, czy instrumentami mogą być:

• ankiety (kwestionariusze)
• wywiady indywidualne,
• wywiady grupowe,
• testy pisemne,
• testy wykonania (symulacje),
• obserwacje,
• analizy ilościowe,
• analizy jakościowe,

Jeżeli chodzi o źródła informacji, dwie podstawowe grupy to ludzie i dane. Potrzebne informacje możemy uzyskać albo pytając o nie ludzi (uczestników szkolenia, ich przełożonych bądź współpracowników) albo monitorując dane ilościowe (wskaźniki, takie jak np.: wysokość sprzedaży, ilość nowych klientów).

Możemy zatem mówić o takich  źródłach jak:

• uczestnicy szkolenia,
• przełożeni uczestników,
• przełożeni wyższego szczebla,
• inni pracownicy (bezpośredni współpracownicy uczestników szkolenia lub pracownicy innych działów),
• klienci,
• wskaźniki operacyjne,
• specjaliści i eksperci z zewnątrz firmy.

Kiedy zbierać informacje na temat efektywności szkolenia?

Podstawowe możliwości to:

• przed szkoleniem,
• podczas szkolenia (lub tuż po jego zakończeniu)
• jakiś czas po szkoleniu (np. kilka miesięcy po szkoleniu).

Dlaczego mielibyśmy zbierać informacje przed szkoleniem? Jednym z powodów jest to, że często potrzebujemy danych porównawczych. Jednak znacznie ważniejszym powodem jest to, że ocena szkolenia nie powinna pełnić tylko funkcji sumacyjnej, ale także formacyjną. W ocenie nie chodzi tylko o to, by się dowiedzieć, jak poszło (funkcja sumacyjna), ale by na bieżąco kontrolować działania i naprowadzać je na cel (funkcja formacyjna).

Ocena postfactum może być interesująca, ale gdy nią dysponujesz, niewiele możesz już zrobić. Miło, gdy odniesiesz sukces, ale gdy okaże się, że sukces nie został osiągnięty, możesz najwyżej utajnić raport (jak to się zdarzyło z jednym moich krytycznych raportów ze szkolenia, które kosztowało wiele, ale nic nie przyniosło).

Znacznie ważniejsza jest ocena, która dostarcza bieżącej informacji zwrotnej i pozwala korygować nasze działania. Tego rodzaju ocena nazywa się czasem formacyjną oceną skuteczności. Formacyjną, bo na bieżąco, pod jej wpływem formujemy projekt.

Jeżeli chcesz, by twój projekt szkoleniowy był skuteczny, musisz dysponować bieżącymi informacjami na temat jego skuteczności – zarówno przed szkoleniem, w jego trakcie, jak i po nim. Czekanie z oceną szkolenia na jego zakończenie jest receptą na porażkę.

Zamiast podsumowywać, lepiej jest zdobywać bieżące informacje zwrotne na temat szkoleń i na ich podstawie modyfikować przebieg procesu szkoleniowego, podejmując odpowiednie działania wspierające.

Tabela Planowania Oceny Efektywności Szkoleń

Dzięki tym trzem pytaniom (o zmienną, sposób pomiaru i czas) szybko można opracować plan szkoleń. Poniżej zamieszczony jest taki przykładowy plan.

---

[1]. „The flawed four-level evaluation model”, A critical analysis of evaluation practice: the Kirkpatrick model oraz and the principle of beneficence; Kirkpatrick’s levels of training criteria: thirty years later. A meta-analysis of the relations among training criteria.)