Gregor Anikó[1] - Pallai Katalin[2]: Kormánytisztviselői integritástréningek hatásosságának elemzése - 2. rész - a módszerben rejlő további lehetőségek (Publico, 2017/1., 70-88. o.)

Absztrakt

Két részből álló tanulmányunk célja, hogy egy 2013-ban és 2014-ben, a magyar kormánytisztviselők körében a korrupcióval kapcsolatos tréning hatékonyságát az eddig szokásos elégedettségi felmérés helyett az attitűdökben és az ismeretekben elérni kívánt hatás szemszögéből vizsgálja. A folyóirat 2016/2. számában megjelent első részben globális átlagok szintjén vizsgáltuk az eredményeket. Ebben a második részben a résztvevői szintű adatokat elemezzük. Eredményeink szerint a globális átlagok elmozdulásának tekintetében hatékony tréning eredményei mögött nemcsak olyan tréningrésztvevők húzódtak meg, akiknek a várt irányba mozdultak a vélekedései, hanem olyanok is, akiknek nem változott, vagy éppen romlott. Eredményeink szerint ebben több faktornak, köztük a tréninget tartó trénerek hatásának is fontos szerep jut. A cikk második részében azokat a javaslatokat és lehetőségeket osztjuk meg, amelyek általánosságban is közelebb viszik a tréningmódszer alkalmazóit a tréningek hatékonyságának méréséhez, a problémák feltárásához és a hatékonyság növeléséhez.

Kulcsszavak: oktatáshatásosság mérése, integritásoktatás, tréning, hatáselemzés, kvantitatív kutatás

Abstract - Analysis of Effectiveness of Integrity Trainings for Civil Servants - Part 2 - Learning Points Beyond the Validation

This article is the second part of the paper in which we present the results of an effectiveness assessment survey of public integrity trainings that were organized for Hungarian civil

- 70/71 -

servants in 2013 and 2014. The aim of the survey was to move beyond the usual satisfaction surveys and give an impartial validation for the training method. In the first part of our paper that was published in the previous issue of the journal we presented the results of the analysis carried out on the level of the global averages. According to our results the trainings produced significant learning impact both on knowledge and attitude level in the desired direction. In this article we present the result of the analysis carried out on the level of individual participants that shows that although the global averages were positive, some participants did not change their opinions and some changed in the opposite direction. Our research identified multiple factors that played a role in this unexpected impact - trainers' impact being one of those. In the second part of this article we present proposals for further research that could support training designers' and providers' learning by offering a more detailed picture of the diverse learning trajectories of different participants and the performance of the trainers.

Keywords: training effectiveness, integrity education, training, effectiveness analysis, quantitative research

- 71/72 -

Érdekkonfliktus

A cikk egyik szerzője, Pallai Katalin dolgozta ki az elemzés alapját képező oktatási módszertant és képezte ki a programban részt vevő trénereket, valamint részt vett a kutatás alapját képező kérdőívek összeállításában is. Az adatrögzítést azonban független cég végezte, és az adatelemzést is független kutató, a cikk másik szerzője, Gregor Anikó készítette.

A kutatásról 2014-ben készült az első adatelemzés.[1] 2016-ban a kutatás eredményei alapján két angol nyelvű publikációnk már megjelent.[2] Ez a kétrészes cikk, melynek első része a 2016/2. számban jelent meg,[3] lehetőséget ad a korábban felvetett kérdések részletesebb elemzésére. Mindkét rész tartalmaz a korábbi angol nyelvű publikációkkal átfedésben lévő szövegrészeket. Az angol nyelvű cikkek azon elemzéseit és állításait ismételjük itt meg, amelyek szükségesek az ebben a cikkben kifejtett gondolatok alátámasztásához. Elvben ezeket a részeket lehetne hivatkozással helyettesíteni, de az idegen nyelvű hivatkozások korlátoznák az angolul nem tudó magyar olvasók hozzáférését az alátámasztó elemzésekhez és gondolatokhoz, valamint a legfontosabb állításaink megértését is.

1. Bevezető

A 2016/2. számban megjelent tanulmányunk első részében egy integritástréning-program résztvevőinek tanulási eredményeit elemezve azt mutattuk be, hogy a tréningek hatásossága egyszerű elemzési módszerekkel is ellenőrizhető. Célunk egyrészről az volt, hogy felhívjuk a figyelmet a hatásosságvizsgálat fontosságára, és arra, hogy a hatásosság elemzése - véleményünk szerint - a tréningszervezők felelőssége, másrészről az, hogy megmutassuk, a hatásosság egyszerű módszerekkel is vizsgálható, amelyek megszervezése nem jelent nagyobb kihívást, mint a szokásos elégedettségvizsgálat menedzselése. Ebben a második részben azt mutatjuk meg, hogy a kutatásunkban alkalmazott kvantitatív módszer alapján milyen további következtetéseket tudunk levonni, vagy éppen milyen határai voltak az általunk alkalmazható hatásosságvizsgálatnak, milyen kérdéseket tudtunk azonosítani, amelyeket további kutatásokkal kellene vizsgálni, és javaslatokat teszünk arra is, hogy ezt a módszertant hogyan lehetne egy következő alkalmazáshoz továbbfejleszteni.

Ennek a cikknek szakmai érdekessége az, hogy az általunk használt kvantitatív módszereket a tréningek elemzése során általában csak a hatások validálására használják, mi viszont ebben a cikkben alapvetően az ún. tanulási következtetésekre koncentrálunk,

- 72/73 -

vagyis azokra a tanulságokra, amelyeket a módszertan tervezéséhez és a tréningprogram szervezésének fejlesztéséhez hasznosíthatunk. A résztvevők és szolgáltatók tanulását szolgáló kutatások általában kvalitatív módszereket alkalmaznak, és nem kérdés, hogy a pontosabb következtetések levonásához szükség is van kvalitatív módszerekre is. Éppen ezért javasoljuk itt is, ahogyan tettük azt előző tanulmányban is, hogy mindenképpen célszerű azonnali vagy pár héttel későbbi utókövetéses kvalitatív interjúkat készíteni a tréningen részt vevő néhány alannyal, akik összetételükben kellően visszatükrözik a tréningen résztvevők heterogenitását. Ugyancsak fontos, hogy a trénerekkel is készüljön interjú vagy kérjünk tőlük személyes, néhány kérdéssel irányított, a tréner szubjektív élményeire fókuszáló például írásos beszámolót a tréningen szerzett tapasztalatairól, személyes tanulságokról stb.

A mi kvantitatív elemzésünkből levonható tanulságok és következtetések viszont arra mindenképpen alkalmasak, hogy olyan kérdéseket azonosítsanak, amelyeket érdemes tovább vizsgálni. A következőkben olyan kérdéseket tárgyalunk majd, hogy:

- Mely kérdésekben történt erősebb és gyengébb tanulás?

- Mekkora a diverzitás az egyes résztvevők tanulási eredményei között? És mi okozhatja az eltéréseket?

- Mennyire befolyásolja a kiinduló állapot a tanulás eredményeit?

- Milyen különbségek voltak a trénerek teljesítményei között?

- Mennyiben hasznosíthatóak az eredmények a trénerek továbbképzésében?

A cikk végén összefoglaljuk, hogy mi mindent tanultunk a módszertanunk hatásáról, résztvevőkről és trénerekről ebből az egyszerű kutatásból, továbbá javaslatokat teszünk arra, hogyan lehetne ezt a módszertant továbbfejleszteni.

2. Az egyéni hatások elemzése

A 2016/2. számban megjelent tanulmányunkban bemutattuk a módszert, amely során a résztvevők a tréning előtt és után azonos kérdőívet töltöttek ki, és bemutattuk azt a 4-4 attitűd- és tudásváltozásra vonatkozó kérdést is, amely az elemzés alapját képezi. A cikk első részében a globális szintű átlagos elmozdulásokat tárgyaltuk a résztvevők által kitöltött kérdőívekre adott válaszokon keresztül. Bemutattuk, hogy mind az attitűdök, mind a kognitív ismeretek esetében az egynapos tréning résztvevői körülbelül olyan átlagos szintre jutnak el a tréning végére, mint ahonnan a háromnapos vezetői tréning tagjai kezdik a képzést, ami mindenképpen figyelemre méltó eredménynek tűnik. Mivel azonban a kutatás során minden résztvevő ugyanazt a jelszót használta az első és második kérdőív kitöltése során, így - az anonimitás megtartása mellett is - összekapcsolhatók voltak a válaszok, és így azonosíthatóvá váltak az egyéni elmozdulások is, vagyis lehetőség nyílt a tanulási hatás finomabb szerkezetének elemzésére. Az elemzésnek ez a szintje fontos új eredményeket hozott arról, hogy milyen különféle típusú egyéni utak adják ki az összességében jó eredményeket.

- 73/74 -

3. A résztvevők tanulása

3.1. Egyéni szintű változások különböző típusai

Kiinduló feltételezésünk az volt, hogy a tanulmány első részében bizonyított tény, miszerint a globális átlagok szintje a kívánt irányba változott, nem jelenti okvetlenül azt, hogy minden egyes résztvevő vélekedése is a várt irányba mozdult. Ezért volt fontos azt is vizsgálni, hogy mi történt az egyes résztvevőkkel. A jelszavak alapján összekapcsolt tréning előtti és utáni válaszok adják a különféle típusú, elemzett egyéni elmozdulásokat.

Az egyéni változások vizsgálata érdekes - és talán részben meglepő - eredményeket mutat. Az 1. és 2. ábrán látható pontfelhők az egy- és a háromnapos tréningen résztvevők véletlenszerűen kiválasztott 10%-os mintája esetében ábrázolják a tréning előtti és tréning utáni véleményüket megjelenítő pontokat. Ha a négyzetekbe belevetítjük az átlót, akkor az alatta elhelyezkedő pontok jelképezik azokat a résztvevőket, akik esetében romlott, a felette elhelyezkedők esetében pedig javult a korrupció elleni fellépéssel kapcsolatos attitűd. Az ismeretszint esetében szintén az átló alatti pontok jelképezik azokat a résztvevőket, akiknek a tréninget követően romlott az ismeretszintje. A pontfelhők alatti hisztogramok azt is megmutatják, hogy hány olyan személy volt, akiknek az átlagos attitűdje, illetve ismeretszintje ilyen vagy olyan irányba 0,25-dal, 0,5-del stb. változott a tréning után. Látható, hogy jellemzően kisebb mértékű változásokból jöttek össze az eltérések, és nem igazán jellemzőek nagy ugrások az attitűdökben vagy a kognitív ismeretekben. Ez persze nem meglepő, mert nagyrészt gyakorlott kormánytisztviselők voltak a résztvevők, akiknek már kialakult nézeteik vannak, így egy vagy három nap alatt sarkalatos változás nem várható, és az alapvetően jó kiinduló szint miatt nem is lett volna kívánatos.

1. ábra Az egynapos tréningen részt vevők attitűd- és ismeretszint-változása

(Forrás: saját adatelemzés)

- 74/75 -

2. ábra A háromnapos tréningen részt vevők attitűd- és ismeretszint-változása

(Forrás: saját adatelemzés)

Van viszont egy meglepő eredménye is az egyéni szintű elemzéseknek: Az egynapos és a háromnapos tréning esetében is a résztvevők valamivel több mint fele (52%) vált elhivatottabbá, körülbelül negyedük (27%) kiábrándultabbá, és ötödük (21%) átlagos attitűdje változatlan maradt (3. ábra). A személyes változások ilyen - nem várt - mértékű szórása mindenképpen érdekes eredmény, amit szükséges lenne pontosabban vizsgálni.

- 75/76 -

3. ábra A különböző típusú egyéni attitűd- és ismeretváltozások az egy- és a háromnapos tréningek esetén

(Forrás: saját elemzés)

Az ismeretek esetében már valamivel más volt a helyzet. Itt is az elvárt irányba változtak a globális átlagok, és az egy-, illetve háromnapos tréning esetében is a résztvevők 55,5 és 61,1%-ának változott a tudása a megcélzott irányba, 21,5, illetve 18,3%-uk tudása nem változott, és 23, illetve 20,6%-uk mozdult ellentétes irányba. Bár a tudásváltozásban nagyobb a jó irányba mozdulók hányada, mégis, az attitűdváltozásnál is érdekesebb, hogy a tudásváltozásban is azt látjuk, hogy negyedük-ötödük számára a tréning kifejezetten rontotta a korrupció elleni fellépéssel kapcsolatos tudásukat a mi várakozásainkhoz képest. Ez az eredmény olyan mértékben meglepő, hogy mindenképpen további vizsgálatot igényel.

Ezen a ponton a legfontosabb eredményünk az, hogy a pontfelhők és az oszlopdiagramok láthatóvá teszik, hogy mennyire sokféle tanulási hatást váltottak ki a tréningek. Ez az elemzés betekintést ad abba, hogy mi van az átlagértékek mögött. Ez az elemzési szint azért különösen fontos, mert ugyan minden gyakorló oktató és tréner tudja, hogy a résztvevők különbözően reagálnak az oktatásra, és bizony a legtöbb csoportban vannak olyanok, akikre alig van hatása az oktatónak, de valószínűleg sokakat meglep

- 76/77 -

az elemzésnek az az üzenete, hogy a jó eredményt hozó tréningek alatt nemcsak olyan résztvevők vannak jelentős számban, akik nem tanultak a tréningen, de az a hányad sem elhanyagolható, akinek tudása és/vagy attitűdje a megcélzottal ellentétes irányba vagy éppen egyáltalán nem változott. És persze felmerül a kérdés, hogy lehet-e ez a tréningmódszer árnyoldala. Lehet-e ez annak a következménye, hogy az előadó nem sulykolja saját véleményét, hanem abban segíti a résztvevőket, hogy csoportos és egyéni reflexiós utakat járjanak be. Vagy hasonló diverzitást találnánk az ilyen rövid képzések esetén a hagyományos, frontális oktatás eredményében is.

Összegezve, a személyes változások ilyen - nem várt - mértékű szórása mindenképpen érdekes eredmény, amit szükséges lenne pontosabban vizsgálni. Fontos lenne azt is vizsgálni, hogy vajon milyen okok húzódnak meg amögött, amikor valakinek átlagosan nem változott, vagy romlott az attitűdje.

Lehetséges-e például, hogy a 4-4 állítás közül volt például kettő, amely mentén ellentétes irányba történt véleményváltozás, és ez kioltotta egymás hatását? Természetesen ehhez a példához hasonlóan más, együttesen fellépő hatások is elképzelhetők. Éppen ezért viszont érdekes lehet pont azokkal az esetekkel később egyfajta utóinterjút készíteni, akik relatíve nagyobb véleményváltozást mutattak fel, és azokkal is, akik a megcélzottal ellentétes irányba mozdultak el. Ehhez viszont az kell, hogy a jeligés rendszeren kívül legyen egy másik azonosító rendszer, ami külön tárolja a résztvevők jelszavát és a hozzá tartozó valódi nevet is, hogy ezek a személyek a későbbiekben újra felkereshetők legyenek.

3.2. A kezdeti attitűd és tudás szerepe a tanulásban

A cikk első részében már említettük, hogy az eredmények azt mutatják, hogy általában erősebb hatással voltak a tréningek azokra a résztvevőkre, akik attitűdjükben és/vagy tudásukban a közvetített tartalomtól távolabbról indultak. A 4. ábrán bemutatott grafikonok azt mutatják, hogy ez minden vizsgált dimenzióban megjelenik. Jól látszik, hogy mindegyik esetben igaz az a modellezés (lásd a grafikonokra vetített OLS lineáris regressziós egyenesek), miszerint az alacsonyabb átlagos kezdeti értékeket mutatók esetében átlagosan magasabb abszolút értékű pontszámváltozás történt. Egy-két kivétel itt is akadt, a háromnapos tréning esetében például voltak, ha nem is sokan, akiknek a kezdeti ismereteik igen magasak, majdnem maximálisak voltak, majd a tréning következtében komoly változások történtek ebben, amely szükségszerűen csak egyféle irányba, az ismeretszint csökkenése felé vezethetett. Itt mindenképpen szükséges akár az eredeti kérdőívek vizsgálata is, hogy nem történt-e valamiféle kódolási hiba, vagy ha nem, akkor ismét érdemes lehet megvizsgálni egyéni interjúk keretében a lehetséges okokat.

- 77/78 -

4. ábra Az egy- és háromnapos tréningen részt vevők átlagos attitűdes ismeretszint-változásának abszolút értéke a kezdeti szinthez képest

(Forrás: saját elemzés)

Bár a kiinduló szint hatása az elért eredményre tendenciaként kimutatható, a mi kutatásunk arra nem volt alkalmas, hogy magyarázatot adjon a jelenségre. Szakmai szempontból itt nagyon fontos lenne tisztázni, hogy mi okozza ezt a jelenséget: a csoport hatása, ami magával húzza a lemaradókat, vagy általánosan igaz, hogy az alacsonyabb szintről először gyorsabb a fejlődés, ami később lelassul? Ennek a kérdésnek a tisztázása azért lenne rendkívül fontos, mert mindkét alternatíva fontos információ lehet trénereknek és szervezőknek egyaránt. A tréning módszertani tervezése során a megfelelő eszközök kiválasztásában segíthet, a tréningszervezésben pedig mind a csoportok összeállítását, mind a tervezett képzési időtartamokat befolyásolhatja. Választ azonban ezekre a kérdésekre csak egy következő kutatás adhat, amely e kérdés vizsgálatához is célzottan gyűjt adatokat.

3.3. Az erős és gyenge elemek (kérdések) összehasonlítása a résztvevők szempontjából

Az egyéni hatások elemzése után érdemes visszatérni az A1 kérdésre ("A nálunk tapasztalható korrupció nem ad okot különösebb aggodalomra, mivel ez elkerülhetetlen velejárója az átalakulásnak."). Ez volt az egyetlen kérdés, amelyben az átlagválaszok, bár nagyon kis mértékben, de a megcélzottal ellentétes irányba mozdultak el. Érdemes összehasonlítani az egyéni elmozdulásokat e kérdés esetében, valamint az elmozdulásokkal

- 78/79 -

az A4 ("Az emberek gondolkodása a helyes és helytelen dolgokról megváltoztatható, ezért korábban elfogadott, személy szerint nekik hasznos eljárásokat holnap már önkritikusan szemlélhetnek.") és K4 ("Ha jól megszervezik a közigazgatási intézményt, az jelentősen képes csökkenteni a rá nehezedő külső korrupciós kísérleteket.") kérdés esetében, ahol erősebb változás következett be a kívánt irányba (5-7. ábra).

5. ábra Az egy- és a háromnapos tréningen részt vevők válaszainak megoszlása a tréning előtt és után: A nálunk tapasztalható korrupció nem ad okot különösebb aggodalomra, mivel ez elkerülhetetlen velejárója az átalakulásnak

(Forrás: saját elemzés)

- 79/80 -

6. ábra Az egy- és a háromnapos tréningen részt vevők válaszainak megoszlása a tréning előtt és után: Az emberek gondolkodása a helyes és helytelen dolgokról megváltoztatható, ezért korábban elfogadott, személy szerint nekik hasznos eljárásokat holnap már önkritikusan szemlélhetnek

(Forrás: saját elemzés)

- 80/81 -

7. ábra Az egy- és a háromnapos tréningen részt vevők válaszainak megoszlása a tréning előtt és után: Ha jól megszervezik a közigazgatási intézményt, az jelentősen képes csökkenteni a rá nehezedő külső korrupciós kísérleteket

(Forrás: saját elemzés)

Az 5-7. ábra azt mutatja, hogy az erős és jó hatást elért kérdések esetében az állítással teljesen vagy inkább egyetértők aránya mutat komolyabb növekedést. Az A1 kérdés esetében viszont az elmozdulások minden kategóriában nagyon gyengék.

Amennyiben ugyanezt az A1 kérdést a trénerek oldaláról vizsgáljuk, azt látjuk, hogy az egynapos tréninget tartó 24 tréner közül 10 tréner szignifikáns hatást tudott elérni ebben a kérdésben, méghozzá oly módon, hogy mindegyik esetben jobban egyetértettek a tréningcsoport résztvevői az állítással, azaz valamelyest kiábrándultabbá váltak ebben a dimenzióban. Voltak olyan trénerek, akik esetében a többiekhez képest erősebb volt ez a negatív hatás, vagyis többet "rontottak" ezen az attitűdön, mint mások. A háromnapos tréning esetében a nyolcból két tréner csoportjainak tagjai mutattak szignifikáns véleményváltozást, kiemelendő viszont, hogy az egyik trénernél már a várt, a másiknál viszont, a többiekhez hasonlóan azzal ellentétes irányba mozdultak. Ennek a pontosabb vizsgálatnak az eredménye nagyon fontos a tréning továbbfejlesztése szempontjából,

- 81/82 -

mert egyrészről azt mutatja, hogy a kérdésre vonatkozó tréningelemeket pontosítani kell, másrészről a trénerképzés fejlesztésére is ráirányítja a figyelmet.

3.4. Mi okozhatta a megcélzottal ellentétes változásokat?

A legfontosabb az lenne, ha fel tudnánk tárni, hogy mi okozta a megcélzottal ellentétes változásokat. Erre azonban csak egy kvalitatív vizsgálat tudna választ adni. A mi kvantitatív vizsgálatunk legfeljebb arra adott lehetőséget, hogy a "rossz" irányba mozdulók profiljáról tudjunk meg valamit. Ennek a kérdésnek a tisztázásához segítségünkre lehettek volna az első kérdőívhez kapcsolódó demográfiai kérdések, viszont ezek mentén (nem, szervezetnél eltöltött idő, munkahelyi szerv típusa, nyugdíjazásig várható évek száma) nem találtunk összefüggést a változásokkal. Itt ismét felmerülhet az a megoldás is, hogy más, relevánsabb háttérváltozóra vonatkozó kérdéssel bővítsük legközelebb a kérdőívet, amelynek a hatását az attitűdök vagy ismeretek változására érdemes lehet feltételezni. Arra is van lehetőségünk, hogy komolyabb statisztikai módszerekkel figyelembe vegyük azt a csoportklímát, amely egy-egy tréningcsoport esetében megszületett. Ez hatékonyan tudná kiegészíteni a kvalitatív vizsgálatok eredményeit, vagy akár a trénerek szubjektív írásos beszámolóit.

4. Trénerek teljesítményének elemzése

A trénerek teljesítménye szintén egy fontos és vizsgálandó kérdés, ha a tréningmódszer validálása a cél. A trénerek teljesítményét a résztvevőkre gyakorolt pozitív (a megcélzott irányba ható) hatásként definiáltuk. Ahhoz azonban, hogy a trénerek teljesítménye közötti összehasonlítás korrekt legyen, megvizsgáltuk, hogy látszik-e egyfajta mintázat abban, hogy az egyes trénerekhez tendenciózusan rosszabb vagy jobb attitűddel, alacsonyabb vagy magasabb tudásszinttel kerülnek résztvevők. (A résztvevők - a később tárgyalt - randomizált elosztása többek között ezeket a kiinduló mintázatokat lenne hivatott kezelni.) Emellett az eredmény statisztikai erősségét az is befolyásolta, hogy az egyes trénerekhez nem egyenlő számban kerültek résztvevők (az egynapos tréning esetén volt, aki 500, volt, aki 40 főt oktatott). A nem randomizált elosztás mellett is kimutatható volt, legalábbis az egynapos tréning esetén, hogy a trénerek szignifikánsan különböztek abban, hogy milyen kezdeti attitűdű résztvevők kerültek hozzájuk. A trénerek hatása önmagában kisebb mértékben magyarázta meg a mutatott attitűdváltozást mind az egynapos, mind a háromnapos tréning esetében. Mintázatként azt lehetett látni, hogy azok a trénerek tudtak átlagosan a legnagyobb hatást a résztvevőkre kifejteni, akikhez átlagosan a leginkább olyan alanyok jutottak, akik esetében volt hova változtatni a véleményeket (a kiinduló tudás és attitűd ilyen hatását már a korábbiakban tárgyaltuk). Viszont ha ennek a hatását kiszűrjük, a trénerek teljesítményei már közelítenek egymáshoz, bár különbségek továbbra is kimutathatók.

- 82/83 -

Az összetett változók szintjén az látható, hogy a trénerek hatáserőssége különbözik. Az elemi állítások szintjén, ahogyan azt az előzőekben már láthattuk, viszont elő-előfordult olyan eset is, amikor egy-egy tréner esetében a hozzá tartozó résztvevők átlagos attitűdje nem a várt irányba, hanem ellenkezőbe mozdult el. Ezeknek az eseteknek az alaposabb vizsgálata tudna fényt deríteni arra, hogy az egységes módszertanon túl milyen különböző elemek befolyásolhatják a tréner hatását.

További fontos eredménye a trénerek teljesítményvizsgálatának, hogy az egynapos tréning esetén igen erős összefüggés (Pearson-féle r = 0,73, p = 0,000 < 0,05, N = 24) mutatkozott az egyes trénerek esetében az attitűdök és az ismeretek körében bekövetkező átlagos változásokban (8. ábra). Azok a trénerek, akik az attitűdök szintjén jellemzően jobban teljesítettek, azaz előkelőbb helyen végeztek a trénerek rangsorában, jellemzően ugyancsak előkelő helyen végeztek az ismeretszintben bekövetkező változások tekintetében. Hasonló jellegű kapcsolatot a háromnapos tréning esetén már nem lehetett kimutatni (9. ábra), ennek egyik oka lehet, hogy ott csupán 8 tréner eredményeit vizsgálhattuk, illetve, hogy maga a korrelációs együttható értéke sem volt az abszolút értékét tekintve magas (r = 0,14, p= 0,74 > 0,05).

8. ábra A trénerek attitűd- és ismeretszinten mutatott hatásának együtt járása az egynapos tréning esetén

(Forrás: saját elemzés)

- 83/84 -

9. ábra A trénerek attitűd- és ismeretszinten mutatott hatásának együtt járása a háromnapos tréning esetén

(Forrás: saját elemzés)

A mi esetünkben a trénerek hatásának vizsgálata nem volt előre egyeztetve a trénerekkel, így a személyes eredmény sem osztható meg velük. Nem is volt annyira részletes a vizsgálat, hogy biztos eredményeket adjon. Annyi azonban látható ezekből az egyszerű vizsgálatokból is, hogy amennyiben vizsgálnánk a trénerek attitűd- és tanulási hatását, esetleg rövid és hosszú távú hatását is egy részletesebb módszertannal, fontos információhoz juthatnánk egyrészről személyre szabott továbbképzésük tervezéséhez, másrészről további tréningeknél az adott oktatási célokhoz a legmegfelelőbb trénerek kiválasztásához. Természetesen abban az esetben, ha korábbi hatásosságvizsgálatok befolyásolnák a trénerválasztást.

5. Tanulságok és következtetések a tréningmódszertan és trénerképzés fejlesztéséhez

A bevezetőben is leírtuk, hogy a kutatás célja a validálás és annak bemutatása volt, hogy egyszerű, a magyar szervezők által is alkalmazható módszerekkel is lehet mérni a tréningek hatásosságát. Ezzel fel akartuk hívni a figyelmet arra, hogy a tréningszervezők felelőssége

- 84/85 -

ellenőrizni a hatást és az ellenőrzésnek a résztvevők és trénerek szubjektív reakcióin és elégedettségén túl azt is vizsgálnia kell, hogy a megcélzott tanulási hatás létrejött-e. Szándékosan nem arról írtunk, hogy az elemzett tréningmódszertant vagy programot mennyire értékeljük eredményesnek, mert célunk ebben az írásban az értékelési módszertan körüljárása volt.[4] Mivel ez a hirtelen összeállított kérdőíves kutatási módszer egy első kísérlet volt, a legfontosabb az volt, hogy mit mutat ez az adatbázis, és hogy mi módon lenne lehetséges további hasonló hatásosságkutatásokból pontosabb eredményeket nyerni.

A validálás a cikk első részében megtörtént. Mindaz, amit cikkünknek ebben a második részében bemutattunk, túlmutat a validáláson. Ez az elemzés abba adott betekintést, hogy mi van az átlagértékek mögött. Azt járta körbe, hogy milyen további következtetéseket lehet az adatbázis részletesebb elemzése alapján tenni, és hol vannak olyan kérdések, amelyeket mindenképpen érdemes további kutatásokkal vizsgálni. Ezek mind olyan elemzések és következtetések, amelyek túlmutatnak az eredeti validálási célon. Azért írtuk le mégis ezeket is, mert szolgáltattak néhány meglepő eredményt is, és nagyon érdekes kérdéseket vetnek fel további kutatások számára.

Az itt tárgyalt elemzés, amely a résztvevők szintjén történt elmozdulásokat vizsgálja, azért különösen fontos, mert ugyan minden gyakorló oktató és tréner tudja, hogy a résztvevők különbözően reagálnak az oktatásra, és bizony a legtöbb csoportban vannak olyanok, akikre alig van hatása az oktatónak, az elemzésnek az az eredménye, hogy az átlagban jó eredményt hozó tréningek során nemcsak olyan résztvevők vannak, akik nem tanultak a tréningen, de az a hányad sem elhanyagolható, akinek tudása és/vagy attitűdje a megcélzottal ellentétes irányba változott, valószínűleg sokakat meglep. És persze felmerül a kérdés, hogy ez a tréningmódszer árnyoldala-e. Lehet-e ez annak a következménye, hogy az előadó nem sulykolja saját véleményét, hanem abban segíti a résztvevőket, hogy csoportos és egyéni reflexiós utakat járjanak be. Ezzel szabadabb marad az értelmezés de - a tréningmódszer elkötelezett hívei szerint - erősebbé válik az azonosulás, és így mélyebb és hosszabb a hatás. Ilyen mértékben szórt eredményeket látva azonban okvetlenül felmerül a kérdés, hogy hasonló diverzitást találnánk-e, ha ugyanennek a komplex témának az oktatása hagyományos, frontális módszerrel történne, hasonlóan rövid képzések során. Szórna-e a hagyományos, frontális oktatás eredménye is, ahol a cél az előadó gondolatainak közvetlen átadása. Nem kérdés, hogy közömbösség és rezisztencia egy előadás alatt is előfordulhat, de fontos lenne látni, hogy mennyiben térnek el az eredmények a tréningmódszerhez képest, természetesen szórást és hatáserősséget is vizsgálva, valamint rövid és hosszú távú hatást. Ilyen kutatásra nem ismerünk példát a nemzetközi irodalomban sem. A mi komplex témánkban - a közigazgatási integritásfejlesztésben - különösen érdekes ez a kérdés, mert egyelőre csak meggyőződéseink alapján választunk egy adott témához oktatási módszert. Azok, akik a frontális előadásokkal szoktak oktatni, abban hisznek. Akik a tapasztalatalapú interaktív formákat is alkalmazzák, általában úgy

- 85/86 -

tartják, hogy különösen komplex témákban és olyan kérdésekben, ahol az attitűd is fontos szerepet játszik, a tréningmódszer az eredményesebb. Komoly szakmai kihívás lenne egy olyan kutatást megtervezni, amely alkalmas e két oktatási módszertan eredményének összehasonlítására, de fontos eredményt hozna a megméretés.

A résztvevői szintű elemzés másik fontos hozadéka a tréning "gyenge pontjának", az A1 kérdésnek az elemzéséhez adott segítséget. Az, hogy az egyetlen olyan kérdés esetében, ahol a tanulás a megcélzottal ellentétes irányba volt szignifikáns, kimutattuk, hogy a résztvevők nagyobb részénél gyenge volt a hatás ebben a dimenzióban, mindenképpen felvetette, hogy ennek az üzenetnek az átadásához használt tréningelemeket érdemes átalakítani, vagy legalább tovább kell fejleszteni. A kérdés trénerszintű elemzése pontosította az irányt. Láthatóvá tette, hogy részben trénerfüggő volt, hogy a hatás a kívánt vagy ellenkező irányba történt. Ez az eredmény két következtetésre ad lehetőséget. Egyrészről a két módszertani alternatíva, a releváns tréningelemek cseréje vagy továbbfejlesztése közül a továbbfejlesztés látszik szükségesnek, másrészről azt is mutatja, hogy a tréningmódszertani megoldás nem elegendő. A trénerek további képzése is része kell legyen a megoldásnak.

A trénerek képzéséhez elvben az attitűd- és tudáshatásukat különválasztó trénerszintű értékelés is fontos adalékot szolgáltathat. Bár a mi vizsgálatunk csak az egynapos tréningek szintjén szolgáltat értékelhető eredményt ezen a téren, a mostani vizsgálat arra mindenképpen alkalmas, hogy megmutassa, hasonló kutatási módszerrel elemezhető, hogy mely trénernek milyen tréningmódszertani eszközökben kellene továbbfejlődnie. Ez mind a trénerek, mind a tréningszolgáltatók számára fontos eredmény lehet.

A harmadik érdekes kérdés, amit a kutatásunk felvetett, sajnos egyelőre nyitott maradt. A rendelkezésre álló adatok alapján nem tudtuk azonosítani azoknak a profilját, akik ellenállást mutattak a tréninggel szemben. További kutatások esetén fontos cél lenne azt is vizsgálni, hogy milyen résztvevői karakter befolyásolja a hatás erősségét, és kvalitatív vizsgálatokkal mélyebben megérteni a rezisztencia okait. Ez a tudás segíthet abban, hogy azokhoz is eljuttassuk a megfelelő üzeneteket, akikhez eddig nem sikerült.

6. Javaslatok és kérdések további kutatásokhoz

Módszertani szempontból többször hangsúlyoztuk a tanulmány közben, hogy mindenképpen szükség van a teljes horizontú validálásra ahhoz, hogy kvalitatív módszerekkel karöltve új típusú információkhoz jussunk a tréningmódszer hatékonyságát és az amögött meghúzódó potenciális okokat tekintve. Nagyon fontos, hogy ezeket ne csak a tréningen részt vevők, hanem a trénerek, vagy akár a tréningeket szervezők körében is lefolytassuk ahhoz, hogy teljes képet nyerhessünk.

További lehetőségeket rejt magában olyan statisztikai módszereknek az alkalmazása, amelyek figyelembe tudják venni a véleményváltozások elemzésében azt, hogy a résztvevők többszintű csoportokba vannak ágyazva: az ún. multilevel elemzések egyszerre képesek figyelembe venni az egyéni szintű változókat (például nem vagy beosztás) és annak a tréningcsoportnak vagy még magasabb szinten annak a trénernek az ismérveit, amelyhez/akihez

- 86/87 -

tartoztak. Így még jobban szétszálazhatók a különböző, egyéni és csoportszintű hatások. Ahhoz, hogy ezt a módszert alkalmazni lehessen, fontos azoknak a már említett követelményeknek a betartása (kontrollcsoport alkalmazása, vezetők és beosztottak tréninghossza egységes legyen, vagy ne a szervezeti hierarchiában elfoglalt hely szerint váljon szét, résztvevők randomizált módon és egyenlő számban legyenek szétosztva a trénerek között), amelyek biztosítják, hogy megbízhassunk azokban a statisztikai mutatókban, amelyekre a megállapításainkat alapozzuk.

Ugyancsak fontos tanulság, hogy egy-egy hatás statisztikai értelmű megléte mellett mindenképpen célszerű azt is megvizsgálni, hogy milyen erős a látott összefüggés, és az eredmények interpretálásánál további kiegészítő információk tudják még ezt a képet árnyalni.

Összességében jól látszik, hogy nemcsak idehaza, hanem a nemzetközi porondon is nagy a hiány olyan vizsgálatokban, amely megbízható módon mutatja be egy-egy tréningmódszer hatékonyságát. Mindez azt is jelenti, és ehhez szerettünk volna a cikkünkkel is hozzájárulni, hogy a jövőben valószínűsíthetően nagyobb figyelem fog a tréningek nyomán erre a témára esni, amiből hosszú távon a tréningmódszertan is profitálni fog.

Felhasznált irodalom

1. Gregor Anikó: Tréning hatásvizsgálat, Tanulmány a Nemzeti Közszolgálati Egyetem Integritás Tudásközpontjának megbízásából, Budapest, 2014.

2. Pallai Katalin: A tréningek szerepe az integritásoktatásban, Társadalom és Honvédelem, 19(2015)/1, 27-43, 38-41.

3. Pallai Katalin - Gregor Anikó: 'Assessment of Effectiveness of Public Integrity Workshops for Civil Servants - a case study', Teaching Public Administration Journal, 2016.

4. Pallai Katalin: What can we learn from a simple survey? Effectiveness Assessment of Public Integrity Training Courses - a case study, Paper prepared for the OECD Integrity Forum, Paris, 19-20 April, 2016.

- 87/88 -

Dr. Gregor Anikó PhD (gregor@tatk.elte.hu) 2007-ben végzett az ELTE Társadalomtudományi Karán szociológia szakon, survey statisztika szakirányon, 2011-ben pedig mesterfokozatot szerzett a Közép-európai Egyetem Gender Studies mesterszakán. 2015-ben védte meg doktori disszertációját szociológiai tudományok területen az ELTE-n. 2008 óta tart kvantitatív és kvalitatív kutatásmódszertani kurzusokat tanársegédként, majd később adjunktusként az ELTE Társadalomtudományi Karának Társadalomkutatások Módszertana Tanszékén. 2012 óta a kar angol nyelvű Ethnic and Minority Studies MA képzésének szakgazdája.

Dr. Pallai Katalin PhD (katalin@pallai.hu) egyetemi docens 30 év oktatói tapasztalattal rendelkezik, amelyet magyar és külföldi egyetemi programokban szerzett. A rendszerváltás óta önkormányzati tanácsadó és trénerként dolgozott itthon és külföldön, olyan szakértői csoportokat vezetve, amelyek városstratégiákat és belső szervezeti reformokat dolgoztak ki. Nemzetközi tevékenysége során az elmúlt 25 évben 14 országban végzett hasonló munkákat, tanítva és támogatva a helyi közszolgálatot és civil szervezeteket. Jelenleg a Nemzeti Közszolgálati Egyetem docense, ideje és energiája meghatározó részét a közszolgálati integritásfejlesztés oktatására és kutatására, az integritásfogalom és gyakorlat magyarországi elterjesztésére fordítja. (továbbiak: www.pallai.hu) ■

JEGYZETEK

[1] Gregor Anikó: Tréning hatásvizsgálat, Tanulmány a Nemzeti Közszolgálati Egyetem Integritás Tudásközpontjának megbízásából, Budapest, 2014.

[2] Pallai Katalin: What can we learn from a simple survey? Effectiveness Assessment of Public Integrity Training Courses - a case study, Paper prepared for the OECD Integrity Forum, Paris, 19-20 April, 2016. és Pallai Katalin - Gregor Anikó: Assessment of Effectiveness of Public Integrity Workshops for Civil Servants - a case study', Teaching Public Administration Journal, 2016.

[3] Pallai Katalin: A tréningek szerepe az integritásoktatásban, Társadalom és Honvédelem, 19(2015)/1, 27-43, 38-41.

[4] A tréningmódszertan eredményességét már nemzetközi értékelő bizottság és több publikáció tárgyalta és igazolta: Pallai: Az integritásoktatás... i. m. és Zsolt Péter: A magyar közszolgálati etika és integritás, valamint az integritásmenedzsment tréningek hatásvizsgálata, Pro Publico Bono, 2015/1, 150-166.