Gregor Anikó[1] - Pallai Katalin[2]: Kormánytisztviselői integritás tréningek hatásosságának elemzése 1. rész - A validálás hiánya és fontossága (Publico, 2016/2., 4-24. o.)

Érdekkonfliktus

A cikk egyik szerzője, Pallai Katalin dolgozta ki az elemzés alapját képező oktatási módszertant és képezte ki a programban részt vevő trénereket, valamint részt vett a kutatás alapját képező kérdőívek összeállításában is. Az adatrögzítést azonban független cég végezte és az adatelemzést is független kutató, a cikk másik szerzője, Gregor Anikó végezte. A kutatásról 2014-ben készült az első adatelemzés.[1] 2016-ban a kutatás eredményei alapján egy angol nyelvű publikációnk már megjelent,[2] egy másik pedig publikálás előtt áll.[3] Ez a kétrészes cikk lehetőséget ad a korábban felvetett kérdések részletesebb elemzésére. Mindkét rész tartalmaz a korábbi angol nyelvű publikációkkal átfedésben lévő szövegrészeket. Az angol nyelvű cikkek azon elemzései és állításai kerülnek megismétlésre itt, amelyek szükségesek az ebben a cikkben kifejtett gondolatok alátámasztására. Elvben ezeket a részeket lehetne hivatkozással helyettesíteni, de az idegen nyelvű hivatkozások korlátoznák az angolul nem tudó magyar olvasók hozzáférését az alátámasztó elemzésekhez és gondolatokhoz, és így a legfontosabb állításaink megértését.

- 4/5 -

Absztrakt

A két részből álló tanulmányunk célja, hogy egy 2013-ban és 2014-ben, a magyar kormánytisztviselők körében a korrupcióval kapcsolatos tréning hatékonyságát az eddig szokásosan felmért elégedettség helyett az attitűdökben és az ismeretekben elérni kívánt hatás szemszögéből vizsgálja. Eredményeink szerint a globális átlagok elmozdulásának tekintetében hatékonynak mutatkozó tréning eredményei mögött nemcsak olyan tréningrésztvevők húzódtak meg, akiknek a várt irányba mozdultak a vélekedései, hanem olyanok is, akiknek nem változott, vagy éppen romlott. Eredményeink szerint ebben több faktornak, köztük a tréninget tartó trénerek hatásának is fontos szerep jut. Az itt publikált első részben a globális átlagok alapján levonható következtetéseket mutatjuk be. A folyóirat következő számában megjelenő második részben a résztvevői szintű elemzés eredményeit tárgyaljuk, és azokat a javaslatokat és lehetőségeket osztjuk meg, amelyek általánosságban is közelebb viszik a tréningmódszer alkalmazóit a tréningek hatékonyságának méréséhez, a problémákfeltárásához és a hatékonyság növeléséhez.

Kulcsszavak: oktatáshatásosság-mérés, integritásoktatás, tréning, hatáselemzés, kvantitatív kutatás

Abstract - Effectiveness Assessment of Public Integrity Trainings 1st Part - the Lack of Validation and its Importance

This article is the first part of a paper that presents the results of an effectiveness assessment survey of public integrity trainings that were organized for Hungarian civil servants in 2013 and 2014. The aim of the survey was to move beyond the usual satisfaction surveys and give an impartial validation for the training method. According to our results the trainings produced significant learning impact both on the knowledge and attitude level in the desired direction. Although the global averages were positive, the results also showed that some participants did not change their opinions and some changed in the opposite direction. Our research identified multiple factors that played a role in this unexpected impact - trainers' impact being one of those. In this first part, we present the results of the analysis of global averages. In the second part of our paper, which will be published in the next issue of this journal, we discuss the results of the analysis carried out at the level of individual participants and we present proposals for further research that could support training designers' and providers' learning by offering a more detailed picture of the diverse learning trajectories of different participants and the performance of the trainers.

Keywords: training effectiveness, integrity education, training, effectiveness analysis, quantitative research

- 5/6 -

1. Bevezető

A kormánytisztviselők életen át tartó képzése elengedhetetlen egy korszerű közigazgatás működtetéséhez a 21. században. A szakmai továbbképzések során egyre elterjedtebb a résztvevőket bevonó, interaktív, tapasztalatalapú módszerek alkalmazása, amit általában röviden "tréningmódszerként" aposztrofálnak. Ebben a cikkben mi a "tréning" kifejezést a komoly szakmai tartalom közvetítésére interaktív, tapasztalatalapú módszertant alkalmazó oktatási formára használjuk. A tréningek, ellentétben a hagyományos előadásokkal, nem kizárólag az előadó által megfogalmazott gondolatok átadására és elfogadtatására irányulnak, hanem a résztvevőkben olyan tapasztalási és reflexiós folyamatokat céloznak indítani, amelyek - az előadások alatt passzív módon befogadott tudásnál - mélyebb és hosszabb hatást kívánnak elérni. A tréningek célja olyan aktív tanulási folyamat indítása, amelyben a résztvevők a tanulási folyamatba behozott jelenségekre, problémákra és gyakorlatokra történő aktív, személyes és közös reflexió során új nézőpontokból is elemezni tudják a korábban kialakult nézeteiket és gyakorlataikat, aminek következtében perspektíváik és elköteleződéseik is megváltozhatnak. A "tréningmódszer" így nemcsak elméleti és technikai tudás átadására, hanem komplex tudáselemek közvetítésére, szemlélet-/perspektívaváltoztatásra és attitűdváltozás indítására is alkalmas lehet.[4] Míg a hagyományos előadás után egy egyszerű kérdéssorral ellenőrizhető, hogy a hallgató vissza tudja-e idézni az előadó által átadott tudástartalmakat, a tréningmódszer által megcélzott komplex személyes tanulás során kialakult perspektíva- és attitűdváltozás mérése nehezebb feladat.[5]

Ahogyan más országok, úgy Magyarország is jelentős erőforrásokat fordít a kormánytisztviselők továbbképzésére, aminek egyre nagyobb hányadát jelentik a szakmai tréningek. Annak ellenére, hogy a források felhasználásának hatékonyságát az oktatás hatásosságán keresztül lehetne bizonyítani, a képzésszervezők túlnyomó többsége nem végez hatásosságot mérő vizsgálatot. Jelen tanulmány egyik szerzőjének szakterülete a közigazgatási integritás.[6] a cikkben bemutatott kutatást az a meggyőződés vezette, hogy az oktatás integritását szükséges lenne hatásosság méréssel bizonyítani. A tréningek hatásosságmérésének hiánya azonban nem magyar sajátosság. 2013-ban az OECD 22 tagállamában vizsgálta a kormánytisztviselők közszolgálatietika- és integritásoktatását, és nem talált egyetlen esetet sem, ahol a szolgáltatott tréningek hatásosságát vizsgálták volna. A tréningekről legfeljebb a befektetett erőforrásokra vonatkozó adatok álltak rendelkezésre a kutatók számára, úgymint a költségek,

- 6/7 -

a képzési idő vagy a résztvevők száma.[7] A magyar és nemzetközi tréning gyakorlatban az input adatok regisztrálása mellett gyakran alkalmaznak a résztvevők elégedettségét mérő kérdőíveket is, és egy-egy programban a trénerek is írnak jelentéseket az általuk tapasztalt jelenségekről és eredményekről (mely dokumentumok azonban általában nem nyilvánosak).

A cikkünkben bemutatott kutatás alapállítása az, hogy se az input adatok, se az elégedettségmérés nem teljesíti a közpénzekkel való prudens gazdálkodás követelményét, mert ezek az adatok nem bizonyítják, hogy a tréning elérte-e a kívánt hatást, azaz a kívánt irányba változtatott-e a résztvevők attitűdjein és tudásszintjén. Természetesen nem tagadjuk, hogy mind a résztvevők, mind a trénerek tréninggel való elégedettsége, illetve az ezzel kapcsolatos percepciója és reakciója rendkívül fontos, hiszen ezek a tréning hatásának fontos elemei. Ugyanakkor a mi állításunk az, hogy az érintettek tréninggel kapcsolatos közérzetének felmérése nem elégséges annak bizonyítására, hogy a köz erőforrásait (a tréningek költségeire közvetlenül fordított közpénzeket és a rááldozott munkaidőt) integráns módon - vagyis a meghatározott közcélok megvalósítására eredményesen - használta a program. Az erőforrások felelős felhasználása kizárólag az alapján bizonyítható, ha a tréningek teljesítették a képzés célját: a résztvevőkben olyan tudásbeli, attitűd- és/vagy viselkedési változásokat eredményeztek, ami a program kitűzött célja volt, vagy a tréning következtében a közigazgatás működése a megcélzott irányba változott. A résztvevők és trénerek elégedettsége lehet egy indikátora a tréning hatásának, akár sikerének is, de semmiképpen nem bizonyítja a megcélzott eredmény elérését. Ez az alapvető különbség a résztvevők reakcióit gyűjtő hatás vizsgálata és a tréning hatásosságának igazolása - validálása - között.

2013 és 2014 során az ÁROP 1.1.21-2012-2012-0001 számú "Korrupció megelőzése és a közigazgatás-fejlesztés áttekintése" című kiemelt projekt keretében mintegy tízezer magyar kormánytisztviselő vett részt olyan közszolgálati etika és integritás tréningen, amelynek egységes módszertanát a Nemzeti Közszolgálati Egyetem dolgozta ki. Ez a két cikk annak a hatásosságvizsgálatnak az eredményét mutatja be, amely keretében azt vizsgáltuk, hogy a tréningek során mennyiben változott a résztvevők tudása és attitűdje a korrupciós jelenségekkel kapcsolatban, és mennyire értették meg és fogadták el az integritás megközelítés alapelveit. 7362 résztvevő tudásbeli és attitűdváltozását vizsgáltuk a tréning előtt és után kitöltött kérdőívekkel. A kutatás fő célja a tréningmódszertan és a tréningek hatásosságának a bizonyítása, validálása volt, és annak bizonyítása, hogy a validálás olyan egyszerű módszerekkel is történhet, amelyeket a korábban csak a résztvevők reakcióira épülő hatásvizsgálatot végző szervezők is meg tudnak valósítani. A kutatás során hatásosságnak/eredményességnek azt tekintettük, ha a tréningek során a résztvevők tudása és attitűdje a projekt és a tréning céljaival azonos irányba mozdultak el.

- 7/8 -

A kutatás eredményeiről már korábban is publikáltunk, illetve megjelenés alatt van erről szóló publikációnk. A 2015 évi EGPA konferenciára készült tanulmányban[8] és a Teaching Public Administration folyóiratban[9] megjelenés előtt álló cikkben a kutatást már bemutattuk az alapvető aggregált adatok elemzése alapján. Az OECD Integritás Fórum című rendezvényén azt mutattuk be, hogy mennyiben alkalmas a mi módszerünk az OECD által azonosított módszereknél részletesebb képet adni a tréningek hatásairól.[10] A most megjelenő kétrészes cikk - a nagyobb terjedelem adta lehetőséget kihasználva - az adatelemzést és az integritásfejlesztésre és tréningmódszertanra vonatkozó szakmai elemzést kapcsolja össze, és egyrészről a korábbiakon túlmutató oktatás módszertani és szakmai kérdéseket vet fel, másrészről betekintést adva az adatelemzésbe, az állításokat részletesebben bizonyítja, harmadrészt az oktatás hatásosságelemzésének további módszertani fejlesztéséhez ad - a korábbiaknál részletesebb - javaslatokat. Mindezt magyar nyelven, a magyar szakmai közönség számára releváns kérdésekre fókuszálva.

A cikk első részében rövid áttekintést adunk a tréningértékelési módszerek elméletéről és gyakorlatáról, ebben a keretben helyezve el kutatásunk céljait és módszerét. Ezt követően a vizsgált tréningprogram fő paramétereit és a globális átlagok alapján végzett validáláshoz készült elemzést foglaljuk össze, mely a szokásosan felmért elégedettség helyett az attitűdökben és az ismeretekben elérni kívánt hatás szemszögéből vizsgálja a tréningeket. A cikk második részében, amely a következő számban jelenik majd meg, az egyéni elmozdulások vizsgálatával foglalkozunk. Eredményeink szerint a globális átlagok elmozdulásának tekintetében hatékonynak mutatkozó tréning eredményei mögött nemcsak olyan tréningrésztvevők húzódtak meg, akiknek a várt irányba mozdultak a vélekedései, hanem olyanok is, akiknek nem változott, vagy éppen romlott az álláspontja. Eredményeink szerint ebben több faktornak, köztük a tréninget tartó trénerek hatásának is fontos szerepe volt. A tanulmány második részében egyrészről e jelenséget potenciálisan magyarázó faktorokat elemezzük, másrészről azokat a javaslatainkat osztjuk meg, amelyek segíthetnék a tréningmódszer alkalmazóit a tréningek hatékonyságának mérésében, a problémák feltárásában és a hatékonyság folyamatos növelésében. Ezentúl felvetünk a tréningmódszer, valamint annak hatékonyságának mérésével, módszertanával kapcsolatos egyéb kérdéseket és dilemmákat.

2. A tréningek értékelésének elmélete és gyakorlata

2.1. A tréningértékelés elméleti megközelítései

A tréningek értékelésében két alapvető módszertani iskolát különböztethetünk meg: A kvantitatív iskola pozitivista megközelítését, amely a tréningek értékelésében

- 8/9 -

számszerűsíthető eredmények prezentálására és ennek nyomán különféle hipotézisek statisztikai tesztelésére törekszik, és a kvalitatív iskolát, amely módszerében sokkal nagyobb hangsúlyt helyez a résztvevők szubjektumának, élményeinek megértésére, feltárására és interpretálására, ennélfogva akcióorientált elemzésre fókuszál, aminek célja az oktatás során megvalósuló tudástranszfer javítása.[11] Míg a kvantitatív módszerek középpontjában inkább a bizonyos módon definiált teljesítmény mértékének megítélése áll, addig a kvalitatív megközelítés középpontjában a tanulás és annak módja, folyamata áll. Különösen az akcióorientált módszerekre igaz, hogy az érintettekkel kialakuló kommunikáció lehetőséget teremthet az egyéni, szubjektív tapasztalatok és utak feltárására és az érintettek olyan reflexiójára, amin keresztül az elemzési folyamat mind a tréning résztvevőinek, mind a szolgáltatók tanulását is szolgálja.[12]

Fontos kiemelnünk, hogy mindkét féle módszertani paradigmának van létjogosultsága a tréningek értékelése során, hiszen ahogyan azt bemutattuk, más és más típusú értékelési kérdésre tudnak a kutatók a segítségükkel választ adni. Sőt, az igazán holisztikus tréningértékelések nemcsak az egyik vagy a másik, hanem mindkét féle kutatás-módszertani eszköz együttes, közös alkalmazásával vizsgálják a tréningek hatékonyságát. Jelen kutatásban azonban nem volt alkalmunk arra, hogy kvalitatív módszerekkel is vizsgáljuk azt, hogy például miként élték meg a résztvevők és a trénerek a tréningeket, hogyan érintették őket az ott elhangzott információk, az alkalmazott technikák stb. A tanulmányunk második, a következő lapszámban megjelenő részében fogunk bővebben kitérni arra, hogy ez a hiányosság milyen jövőbeli kutatási lehetőségeket és kihívásokat hordoz magában.

2.2. A tréningek értékelési rendszerei

A tréningértékelések nemzetközi gyakorlatában a legelterjedtebb módszertani modell Kirkpatrick[13] négyszintű felosztása, ami a következő elemzési szinteket határozza meg:

1. a reakciók szintje, ahol a résztvevők (és érintettek) véleményét elemzik, vagyis azt, hogy milyen hatást váltott ki bennük a tréning;

2. a tanulási hatás szintjén azt vizsgálják, hogy mennyiben javult a résztvevők tudása, készségei és attitűdje a tréning alatt;

3. a viselkedési hatás szintjén azt vizsgálják, hogy mennyiben változott a résztvevők viselkedése a tréning következtében;

4. a szervezeti hatás szintjén pedig azt vizsgálják, hogy mennyiben javult a szervezeti működés a tréning következtében.

- 9/10 -

Annak ellenére, hogy komoly elméleti vita folyt a Kirkpatrick-modellről, az elemzési gyakorlatban a legelterjedtebb módszerré vált.[14] a kvantitatív iskola kutatói tovább is fejlesztették a Kirkpatrick-modellt, a befektetett erőforrások megtérülését[15] vizsgáló 5. szint definiálásával.[16] Teljes mértékben védhető azon tréningelmélettel foglalkozó szerzők álláspontja, akik amellett érvelnek, hogy törekedni kell arra, hogy minél magasabb szintű elemzéssel lehessen igazolni a tréningek hatásosságát, annak ellenére, hogy a gyakorlat ritkán tud az első vagy a második szintű elemzéseken túllépni.[17] Komplex területekre vonatkozó képzések esetén általában költséges és összetett módszertanok kidolgozására van szükség ahhoz, hogy a tréninghatások 3. és 4. szintjét is bizonyítani lehessen.[18]

2.3. A tréningek nyomon követésének gyakorlata

Az 1. szintű reakcióelemzés a legkönnyebben kivitelezhető. Elegendő a résztvevők véleményét a tréning végén megkérdezni. A hazai tréningszervezők - ha valamit, akkor -általában ezt a módszert alkalmazzák. A módszer gyengesége, hogy a résztvevők a tréninget saját elvárásaikkal tudják csak összevetni, ami nem okvetlenül egyezik a tréning céljaival. A résztvevői értékelés két okból is eltérhet a megcélzott hatástól, vagyis a hatásosságtól. Az egyik ok, hogy a résztvevő nem okvetlenül érti pontosan a tréning megvalósításának célját. Új szakmai felfogások oktatása esetén különösen nagy a veszély, hogy a résztvevők előzetes elképzelései és a megrendelői célok nem esnek okvetlenül egybe.[19] A másik ok a szubjektivitás. Ha a tréner személyisége kellemes, és jó hangulatot tudott teremteni, a résztvevők hajlamosak jó értékelést adni a tartalmi kérdésekre is. Gyakran a résztvevők kultúrája sem engedi a kemény értékelést. Hacsak nem történik valami rendkívüli - "jószívűen" -, minden kategóriát pozitívan értékelnek. Ezért nevezi időnként a szakmai zsargon az elégedettségi kérdőíveket "smiley sheet"-nek (mosolygó űrlapnak).

A Kirkpatrick-skálán a második szint a tanulási hatás. Itt nem a személyes reakciókat elemezzük, hanem azt, hogy mennyire sikerült a résztvevő tudását, készségeit és attitűdjét a tréning során a megcélzott irányba elmozdítani. A tréning hatásossága ezen a szinten azzal igazolható, hogy amikor a résztvevő kilép a tréningről, tudása és attitűdje közelebb áll a megcélzotthoz, mint amikor belépett. Ez a rövid távú hatás, amit a tréning idején is lehet mérni, ezért ez a legegyszerűbben szervezhető hatásosságmérés. A hosszú távú hatásosság mérése komolyabb szervezési munkát tesz szükségessé, mert egy későbbi időpontban újra fel kell keresni a résztvevőt.

- 10/11 -

A 3. és 4. szintű hatásosságmérés lényegesen nehezebb szakmai és szervezési feladat, mint az előzőek. A viselkedési és szervezeti hatás ugyanis a tréningek alatt nem, hanem a résztvevő tréning előtti és utáni viselkedésén keresztül mérhető. A vizsgálathoz a kutatóknak a tréning előtt és után is kapcsolatban kell állniuk a résztvevőkkel és az őket foglalkoztató szervezetekkel, és képesnek kell lenniük a tréning hatásait a szervezetben működő más hatásoktól megtisztítani. Ilyen kutatáshoz a kutatók, tréningszervezők és az alkalmazók együttműködésére van szükség. Ez a magyarázata annak, hogy kevés ilyen elemzés készül.

Az 5. szint főleg lehatárolható hatásokat gyakorló technikai területek esetén valósítható meg. Még a kevésbé komplex területek esetén is a legkorszerűbb elemzési módszereket alkalmazó angolszász szakemberek is a "Szent Grál" kereséséhez hasonlítják.[20] Az itt tárgyalt téma (a holisztikus integritásfejlesztés) szempontjából az 5. elemzési szint egyáltalán nem releváns.

Mindezek alapján érthető, hogy mivel csak a tréning ideje alatt tudtunk a résztvevőkkel kapcsolatban maradni, kutatásunkban a Kirkpatrick-féle modell 2. szintjén értelmezhető rövid távú hatást tudtuk vizsgálni a tréning előtt és után kitöltött kérdőívek segítségével.

2.4. Kutatási kérdések

Az elemzés, amit bemutatunk, nem önálló kutatási projektnek indult. A tréningmódszertan már lényegében kész volt, és már a pilot tréningek szervezése folyt, amikor eldöntöttük, hogy megpróbáljuk vizsgálni a tréningek hatásosságát. Nem volt lehetőségünk se a tréningek előtt, se a tréningek után kapcsolatba lépni a résztvevőkkel. Mindössze arra volt lehetőségünk, hogy a tréning ideje alatt végezzünk olyan felmérést, ami nem vesz el sok időt az oktatástól és nem befolyásolja az eredményét. Ezek a feltételek alapvetően csak a 2. szintű hatásosság - a tanulási eredmények - vizsgálatát, annak is a rövid távú hatásának elemzését tették lehetővé. Két kutatási kérdésre kerestük a választ:

1. Alkalmas-e a viszonylag kevés előkészületet igénylő, így bármilyen, elégedettségi kérdőívet egyébként alkalmazó szervezet által megvalósítható, a tréning előtt és után kitöltött kérdőíves módszeren alapuló eljárás arra, hogy a tréningmódszer rövid távú hatásosságát bizonyíthassuk?

2. Amennyiben igen, lehetséges-e a validáláson túlmenő információkat nyerni a tréning során történtekről akár a résztvevők, akár a trénerek vonatkozásában?

A kutatás e két kérdés megválaszolásán túl sok további érdekes tanulsággal szolgált, amit e kétrészes publikáció második részében részletezünk.

- 11/12 -

3. A vizsgált tréningprogram

3.1. A program bemutatása

2013. szeptember eleje és 2014. február vége között összesen több mint 400 tréningcsoportban 7362 kormánytisztviselő vett részt a korrupcióval, a korrupció elleni fellépéssel, és a korrupció megelőzésével kapcsolatos tudatosság növelésével foglalkozó tréningeken. A résztvevők alapvetően két nagy csoportba voltak sorolhatók: a szervezeti hierarchia magasabb szintjein található vezetők (670 fő) háromnapos (20 órás), míg a beosztottak (6692 fő) egynapos (8 órás) tréningen vettek részt. Mind a tréning előtt, mind a tréning után a résztvevőknek ugyanazt a rövid anonim kérdőívet kellett kitölteniük, amelyben többek között 16, a résztvevőknek a korrupcióval kapcsolatos attitűdjeit, viszonyulását, illetve főbb ismereteit felmérő állítás is szerepelt, amelyekkel kapcsolatosan a kitöltőknek az egyetértésüket kellett kifejezniük egy 1-től 5-ig terjedő skálán. Azt, hogy egy-egy résztvevőnek a tréning előtti és utáni kérdőíve az anonimitás követelményének teljesítése mellett összekapcsolható legyen, egy a résztvevők által szabadon választott jelige biztosította. Egynapos tréninget 24, háromnapos tréninget 8 tréner tartott, és közülük hatan voltak olyanok, akik mindkét hosszúságú tréninget is tartottak, azaz összesen 26 tréner került bevonásra. A trénerek különböztek abban is, hogy hány résztvevőt képeztek a projekt időintervalluma alatt. Azonos volt azonban az az elvárás, hogy ugyanazt a részletesen kidolgozott módszertant kellett minden trénernek megvalósítania.

A szervezők törekedtek szakterületek, tapasztalat és beosztás szempontjából vegyes csoportok létrehozására, de mivel csak az adott napra bejelentkezett résztvevőkből választhattak, a csoportok összetétele változó volt.

3.2. A célcsoport

A tréningeket kormánytisztviselők szakmailag vegyes csoportjai számára terveztük, ugyanakkor ahogyan azt az előzőekben már jeleztük, az egy- és a háromnapos tréning résztvevői nem csupán abban különböztek egymástól, hogy milyen hosszan voltak kitéve a tréning hatásának, hanem abban is, hogy a szervezeti hierarchia melyik szintjén helyezkedtek el. Emiatt a kétféle tréning résztvevőinek attitűd- és tudásszintváltozását nem is lehetséges egymáshoz hasonlítani, mert nem elválasztható egymástól a tréninghossz és a szervezeti hierarchián belül elfoglalt pozíció hatása. A szakmailag vegyes csoportokkal való tervezés nem jelentette azt sem, hogy statisztikai értelemben vett randomizált tréningcsoportok kerültek összeállításra, azaz nem volt véletlenszerű, hogy egy-egy csoportba kik milyen attitűddel vagy előzetes tudásszinttel kerülnek. Azt statisztikai módszerekkel meg lehet állapítani, és mi is megvizsgáltuk, hogy látszik-e egyfajta mintázat abban, hogy az egyes trénerekhez tendenciózusan rosszabb vagy jobb attitűddel, alacsonyabb vagy magasabb kezdeti tudásszinttel kerülnek résztvevők, hiszen ha ez igaz, akkor a trénerek teljesítménye közötti "verseny" nem lenne fair. A résztvevők randomizált szétosztása többek között ezeket a kiinduló mintázatokat lenne hivatott kezelni.

Néhány közös jellemző feltételezhető volt azonban a célcsoport meghatározó többségéről. Egyrészről, a vizsgált tréningek idején az integritásfogalom és -módszer a résztvevők

- 12/13 -

túlnyomó többségének új volt. Másrészről tudtuk, hogy a résztvevők nagy része - bár a személyes elkötelezettségük és ethoszuk nem volt megkérdőjelezhető - a korrupcióval toleráns társadalmi közegben élt, és szervezete működése során is tapasztalhatott integritást sértő gyakorlatokat.[21] Az is nyilvánvaló volt, hogy a résztvevők az alapvetően jogi irányultságú[22] magyar közigazgatásban szerezték gyakorlatukat.[23] Ez a szocializáció erősen bevési a hagyományos antikorrupció jogi eszközökre fókuszáló megközelítését, vagyis a tréningen való aktív részvétel - nem túlzás állítani, hogy - a korábbi tapasztalataikhoz képest egy teljesen másféle megközelítést és szemléletváltást kívánt meg a szereplőktől a hatékonyság érdekében. Kérdés, hogy vajon az erre való nyitottság minek volt a függvénye.

3.3. Az oktatási célok

Az ÁROP kiírása szerint a tréningek célja a korrupciómegelőzés integritásalapú felfogásának megismertetése és a közszolgálati integritás irányába történő érzékenyítés volt. A cél teljesítéséhez mindenképpen szükséges volt olyan konceptuális keret felépítése, amely érzékelhetővé teszi az integritássérelmeket, és amelyben átadhatóak az integritásfelfogás alapgondolatai. Ahhoz azonban, hogy a képzés ne csak a problémák pontosabb megértését biztosítsa, hanem a becsületes kormánytisztviselő reményét és elköteleződését is erősíteni tudja az antikorrupció irányába, az is cél volt, hogy a kialakult tehetetlenségérzet csökkenjen, és a résztvevők megértsék saját és kollégáik lehetséges szerepeit a korrupció megelőzésében.

Az oktatás során az ismertetett tréningmódszert alkalmaztuk,[24] amely alkalmas a Bloom-féle taxonómia[25] mindhárom szintjén (tudás, attitűd és viselkedési hatás) működni. A tréning alatt ezek közül a tudás és attitűd hatás mérhető, jelen esetben ez az integritásfelfogás lényegét jelentő tudásban és az antikorrupcióval kapcsolatos attitűdben bekövetkező változást jelenti.

4. A kutatás bemutatása

A következőkben bemutatjuk röviden a kutatás történetét, a kutatás célját, a kutatási kérdéseket és az alkalmazott módszereket.

4.1. A kutatás története

Ahogyan azt már korábban említettük, a pilot tréningek szervezésével párhuzamosan, vagyis az utolsó pillanatban merült fel az ötlet, hogy a tréning előtt és után kitöltött ugyanazon kérdőívek eredményeinek összevetésével adjunk arra a kérdésre választ, hogy

- 13/14 -

a tréningnek sikerült-e a részvevők vélekedését és ismeretét a kívánt irányba változtatni. Ennek következtében nem volt arra lehetőség, hogy egy klasszikus, valamilyen kontrollcsoport bevonásával járó kísérleti elrendezést valósítsunk meg. A tréning résztvevői számára tulajdonképpen maga a tréning volt az az inger, amely potenciálisan a vélekedések változását okozhatta. Kontrollcsoport hiányában ugyanakkor nem lehetünk teljesen bizonyosak abban, hogy a kimutatható véleményváltozás valóban a tréningnek köszönhető-e. Hiszen egyáltalán nem életszerűtlen akár azt feltételezni, hogy egyes tréningcsoportoknál a tréningek időszaka alatt valamilyen komoly korrupciós ügy tartotta lázban az országot, bennük a tréning résztvevőit, és a vélemények, valamint az ismeretszint változása sokkal inkább az ügy körüli nyilvános diskurzusoknak, szakértői megszólalásoknak való kitettségnek, és nem a tréningnek köszönhető. Összességében tehát részben az ötlet és a kivitelezés hirtelensége magyarázza a később tárgyalt módszertani gyengeségeket. Reméljük azonban, hogy még ezekkel a gyengeségeivel is alkalmas a kutatás arra, hogy felhívja a figyelmet a tréningek hatásosságvizsgálatának fontosságára.

4.2. A kutatás céljai

A kutatás fő kérdése az volt, hogy a tréning során sikerül-e szignifikáns mértékben növelni a résztvevők korrupcióval kapcsolatos tudatosságát, azaz ismeretszintjét, valamint sikerül-e elérni azt, hogy az attitűdjeikben is még jobban felvérteződjenek a korrupcióellenes fellépésre, vagyis hogy csökkenjen bennük a kiábrándultság- és a tehetetlenségérzet. További célja volt a kutatásnak, hogy részletes vizsgálat alá kerüljön, hogy vajon a vélemények globális változása minden résztvevőre vagy a résztvevőknek egy bizonyos csoportjára jellemző, és hogy látszik-e valamiféle mintázat abban, hogy kik azok, akik nagyobb valószínűséggel fogadták be a tréning során a célzott üzeneteket. Ugyancsak fontos kérdés volt a módszer validálása során, hogy az egységes tematika szerint és a korábbi szokásokhoz képest kiemelkedően alaposan kiképzett trénerek vajon mind ugyanolyan irányú és erejű hatást voltak-e képesek indukálni a résztvevőkben.

4.3. A kutatás módszere

Egy úgynevezett kvázi-kísérleti, nem randomizált előtte-utána típusú, kontrollcsoport nélküli kvantitatív értékelési kutatási elrendezés[26] került megtervezésre és megvalósításra. Ennek keretében a tréningen résztvevők a tréning előtt és után ugyanazt a kérdőívet töltötték ki, és a válaszaik alapján kalkuláltuk ki azt, hogy változott-e, és ha igen, milyen irányba a vélekedésük és a tudásszintjük.

A kérdőívben összesen 4-4 állítás mérte a korrupcióval kapcsolatos attitűdöket, illetve kognitív, tudásszinten értelmezhető hatáselemeket (1. táblázat).

- 14/15 -

1. táblázat • A kérdőívben szereplő vizsgált állítások

(Forrás: kutatási kérdőív, 2013)

A kérdések tartalma alapján látható a kérdések összefüggése a korábban ismertetett oktatási célokkal: az integritás lényegének átadása, a tehetetlenségérzet megtörése és a saját lehetséges közreműködés megértése. Az attitűdváltozást a korrupció elutasításának erősödésén és a tehetetlenségérzet megtörésén, valamint a fellépés lehetőségébe vetett bizalom erősödésén keresztül vizsgáltuk. A tudásváltozást mérő kérdések azt ellenőrizték, hogy erősödött-e az integritás szemlélet lényegének elfogadása. Megértették-e a résztvevők, hogy a jogi eszközök magukban nem elegendőek. A korrupció megelőzésében kulcsszerepe van a közigazgatás szervezettsége, hatékonysága és átláthatósága javításának. A közigazgatás működésére irányuló figyelem abból a szempontból is fontos volt, hogy a résztvevőknek segített lehetséges személyes közreműködésük azonosításában. Mint látható, a kérdések alapvetően a tréning céljaira vonatkoznak, de a tréningen megvitatott gyakorlatok konkrétságához képest meglehetősen általános megfogalmazásban. Azt is fontos kiemelni, hogy a 8 közül egyetlen kérdés sem került megvitatásra a tréning alatt, így a véleményváltozás nem a tréner által közvetített konkrét állítás elfogadását, hanem tényleges perspektívaváltást jelez.

Ahogyan az 1. táblázatból látható, az attitűdkérdések közül az első háromra, és tudáskérdéseknél az elsőre a helyes válasz az elutasítás lenne. Ezért ezeknek az állításoknak a skáláját "beforgattuk" akkor, amikor összetett változók segítségével kívántuk megragadni a vélemények változását, azaz úgy vettük őket figyelembe, mintha ellenkező tartalommal lettek volna kérdezve (ez az attitűdkérdéseknél a tagadás elhagyásával, a tudáskérdésnél egy "nem" tagadószó mondatba való beemelésével modellezhető). A később látható 1. és 2. diagramon ezt a beforgatást az R betű jelzi.

- 15/16 -

5. A hatásosság bizonyítása

A következő részben azt mutatjuk be, hogy az egy-, illetve a háromnapos tréning során milyen jellegű vélemény- és ismeretszint-változások történtek, és ezen eredmények alapján reflektálunk a tréningmódszer validálására.

A vizsgált 4-4 állítás mindegyikére igaz volt, hogy a páros mintás t-próbák eredményei szerint mind az egy-, mind a háromnapos tréning során szignifikáns mértékben (p < 0,05) változott a tréningeken résztvevők átlaga az egyes állításokkal való egyetértés mentén. Ezeknek a - ne feledkezzünk meg arról, hogy rövid távú - változásoknak a mértéke azonban a hatáserősséget mutató statisztikák alapján gyengének mondható (a Cohen-féle d értékek egyike se haladja meg a 0,4-es szintet). A cikk második felében visszatérünk még erre a pontra, hogy hogyan értelmezhető a tréning szempontjából a statisztikai értelemben gyenge hatás.

1. diagram • Az egynapos tréningen résztvevők tréning előtti és utáni átlagértékei egy 1-től 5-ig terjedő skálán

(Forrás: saját számítás)

- 16/17 -

2. diagram • A háromnapos tréningen részt vevők tréning előtti és utáni átlagértékei egy 1-től 5-ig terjedő skálán

(Forrás: saját számítás)

A diagramokon az átlós vonalra eső pontok jelentik azt, hogy nincs változás. A vonal felett a kívánt irányú elmozdulások, alatta pedig az ellentétes irányú változások láthatók. Az 1. és 2. diagramon megfigyelhető, hogy az állítások közül egy olyan volt - az A1 kérdés -, amely esetében nem a várt, hanem pont ellentétes irányba történt meg mind az egynapos, mind a háromnapos tréningen részt vevők átlagos vélekedésének változása. Kismértékben ugyanis mindkét tréningtípus résztvevői a második, tréning utáni kérdezés során átlagosan kissé jobban egyetértettek azzal az állítással, miszerint a nálunk tapasztalható korrupció nem ad okot különösebb aggodalomra, mivel ez elkerülhetetlen velejárója az átalakulásnak (az egynapos tréning esetén az eredeti, nem beforgatott változó esetén 2,07-ről 2,14-re nőtt [p = 0,000 < 0,05], a háromnapos tréning esetén 2,08-ról 2,16-ra [p = 0,035 < 0,05]. Ez az elmozdulás kismértékű, de szignifikáns. Ez alapján úgy tűnik, hogy a tréningen elhangzottak kissé felerősítették a résztvevők korrupcióval szembeni toleranciáját. Arra a kérdésre, hogy ez vajon minek köszönhető, nem tudunk egyértelmű választ adni a rendelkezésre álló adatok alapján. Többek között az ilyen eredmények tisztázására lenne jó például az, ha a résztvevőkkel és a trénerekkel kvalitatív interjúk is készültek volna utólag, amelyben szubjektív benyomásaikról is beszámolhattak volna. Emellett részletesebb demográfiai adatok adtak volna lehetőséget legalább az ellenkező irányba mozduló csoport profiljának azonosítására. A hiányos információ ellenére a cikk második részében kísérletet teszünk

- 17/18 -

majd következtetések levonására, és részletesebben tárgyaljuk, hogyan erősíthető e téren egy következő kutatási módszertan.

Amennyiben nem az elemi állítások szintjén, hanem a 4-4 változóból képzett egy-egy összetett mutató segítségével szeretnénk következtetést levonni az attitűdök globális és átlagos változásával kapcsolatban, akkor azt mondhatjuk, hogy mind az egynapos, mind a háromnapos tréning esetében igaz, hogy a tréning után szignifikánsan jobban mutattak a korrupcióellenes fellépéssel kapcsolatban elhivatottabb attitűdöket a résztvevők, bár az átlagok közti különbség kicsi, vagyis a tréning rövid távú hatása az attitűdökre gyenge volt (2. táblázat). Ennek az az egyik oka, hogy már a kezdeti attitűdök volumene alapján is úgy tűnik, hogy a résztvevők átlagosan elhivatottak voltak a korrupció elleni küzdelem iránt.

Az ismeretek esetében már valamivel más volt a helyzet. Itt is az elvárt irányba változtak a globális átlagok, viszont itt a kezdeti átlagok a közepes körüli mértékű elvárt ismeretről tettek tanúbizonyságot, és a növekedés mértéke az attitűdökhöz képest valamivel erősebbnek bizonyult (2. táblázat). Amennyiben az attitűdöket közelebb helyezzük el az adott attitűdtárggyal (itt: korrupcióval) kapcsolatos érzelmekhez, az ismereteket pedig egyfajta elsajátítható objektív tudáshoz, érthetőnek tűnik, hogy még egy csoportos tréninghelyzetben is miért a kognitív tudás az, ahol valamivel erősebb változást lehetett 8, illetve 20 óra alatt elérni.

2. táblázat • Az egy- és a háromnapos tréningen részt vevők 1-től 5-ig terjedő átlagos attitűdjének és kognitív ismereteinek változása

(Forrás: saját számítás)

A 3. diagramon látható összegzett mutató (TOTAL) az attitűdöket és a kognitív ismereteket együttesen mutatja, azaz változása választ ad arra a kérdésre, hogy miként változott a releváns kérdésekben a tréning után a résztvevők átlaga. Az összetett mutatók (a 4-4 kérdés összevont átlaga) szintjén, amelyek nagyobb biztonsággal mérnek egy dimenziót, bár az attitűdöknél továbbra is szignifikáns, de gyenge (0,3 alatti Cohen-féle d), a tudáselemeknél viszont szignifikáns, közepes (Cohen-féle d értéke maximálisan 0,51) a hatáserősség. Az attitűdöknek azért marad gyenge a hatása, mert amikor összeépítjük a 4 változóból az összetett mutatót, benne van az az A1, ami mentén ellentétes irányba változott a globális vélekedés. Amikor azonban

- 18/19 -

a tudás- és attitűdhatást is összegezzük, és egyetlen pontszámmal fejezzük ki a tréning globális hatásosságát, mind az egynapos, mind a háromnapos tréning esetén közepes szignifikáns (p = 0,000 < 0,05, Cohen's d = 0,45; ill. 0,51) mértékben nőtt a várt irányba a globális átlag.

3. diagram • Az egy- és a háromnapos tréningen részt vevők attitűdjének, kognitív és a kettőt együttesen figyelembe vevő ismereteinek tréning előtti és utáni átlagpontszámai egy 1-től 5-ig terjedő skálán

(Forrás: saját számítás)

A statisztikai értelmezésen túl a 3. diagramon azt is láthatjuk, hogy mind az attitűdök, mind a kognitív ismeretek esetében az egynapos tréning résztvevői körülbelül olyan átlagos szintre jutnak el a tréning végére, mint ahonnan a háromnapos vezetői tréning tagjai kezdik a képzést. Ez komoly eredmény, és ütközni látszik a korábbi állításokkal, miszerint az egyes kérdések (elemi mutatók) szintjén statisztikai értelemben gyenge a hatás, az összegzett mutatókra vonatkozóan pedig közepes. Ezen állítások összehasonlítása azt a kérdést mindenképpen felveti, hogy lehet-e eltérés a statisztikai és szakmai értelmezés között. Így kérdés marad, hogy az aránylag rövid képzések alatt elért, statisztikai értelemben közepes hatást értelmezhetjük-e kiváló szakmai teljesítménynek. Ez alapján az egyetlen kutatás alapján semmiképpen. Az oktatási módszertan kiválóságának bizonyításához olyan összehasonlító adatok kellenének, hogy hasonló tréningek milyen eredményeket érnek el. Ezek hiányában ez a módszer csak a szakmai hatást tudja igazolni, de annak kiválóságát nem értékeli.

- 19/20 -

A trénerek hatása, teljesítménye szintén egy fontos és vizsgálandó kérdés, ha a tréningmódszer validálása a cél. Amiatt, hogy az egyes trénerekhez nem véletlenszerűen és nem egyenlő számban kerültek résztvevők (az egynapos tréning esetén volt, akihez 500, volt, akihez 40 fő került), valamint hogy a kérdőívbe korlátozott számban kerültek be olyan háttérváltozók, amelyeknek a véleményváltozásra gyakorolt hatását célszerű lett volna kiszűrni, csak korlátozottan tudunk következtetést levonni a hatásukról. A nem randomizált elosztás következtében az is kimutatható volt, legalábbis az egynapos tréning esetén, hogy a trénerek szignifikánsan különböztek abban, hogy milyen kezdeti attitűdű résztvevők kerültek hozzájuk. A trénerek hatása önmagában szignifikánsan, de igen gyengén és kevéssé, körülbelül 2 százalékban volt felelőssé tehető a mutatott attitűdváltozásban mind az egynapos, mind a háromnapos tréning esetében. Mintázatként azt lehetett látni, hogy azok a trénerek tudtak átlagosan a legnagyobb hatást a résztvevőkre kifejteni, akikhez átlagosan leginkább olyan alanyok jutottak, akik esetében volt hova változtatni a véleményeket. Azután viszont, hogyha ennek a hatását kiszűrjük, a trénerek teljesítményei már közelítenek egymáshoz, bár különbségek továbbra is kimutathatóak (erről részletesen a cikk folytatásaként a következő számban megjelenő második részben írunk).

6. Hatás- és elégedettségmérés eredményeinek összevetése

Mindenképpen érdekes, és az érvelésünk szempontjából fontos kérdés lenne arra is példákat mutatni, hogy milyen mértékben térhetnek el az elégedettségi elemzések a hatásosságelemzések eredményeitől. Sajnos azonban nem ismerünk ilyen kutatásokat, és a mi - hirtelen megszervezett - kutatásunk tervezése során nem gondoltunk erre a kérdésre, így nem tettünk elégedettségre vonatkozó kérdéseket a második kérdőívbe, vagyis nincs arra mód, hogy megvizsgáljuk, hogy igaz-e az a feltevés, miszerint a nagyobb attitűd- vagy ismeretszintváltozást (a várt irányba) mutatók átlagosan elégedettebbek a tréninggel, illetve hogy azok a trénerek voltak-e leginkább képesek a kívánt hatást kiváltani, akikkel a legelégedettebbek voltak a résztvevők. Egyetlen lehetőségünk arra, hogy e kérdésre bármiféle indikatív választ adjunk, az volt, hogy az ÁROP tréningekkel időben átfedve a Nemzeti Közszolgálati Egyetem Vezető- és Továbbképzési Intézete részben ugyanazokkal a trénerekkel, akik az ÁROP tréningeken is dolgoztak, azonos kormánytisztviselői célcsoportnak és szinte teljesen azonos módszertannal szervezett tréningeket, amelyek végén a résztvevők elégedettségi kérdőíveket töltöttek ki. Ebből az adatbázisból válogattuk ki a mi kutatásunkban is vizsgált trénerekre vonatkozó adatokat.

Nagyon fontos hangsúlyoznunk, hogy itt két, egymástól különböző alanyokon zajló kutatás eredményét kapcsoljuk össze a mindkét csoporttal érintkező trénerek vonatkozásában, éppen ezért ez semmiképp nem tekinthető másnak, mint egy kísérletnek, ami a korábbi megállapításokhoz képest is komolyabb validálást igényel a későbbiekben.

Összesen 18 olyan tréner volt, akire vonatkozóan rendelkeztünk a velük való átlagos elégedettség-pontszámokkal is a másik kutatásból. Az elégedettségi kérdőív alapján a trénerek nagy része szinte tökéletes teljesítményt nyújtott, és a leggyengébb tréner is 3,85 feletti átlageredményt teljesített egy 1-től 4-ig terjedő skálán, 8 olyan trénerrel, akik a maximális

- 20/21 -

4 pontot érték el átlagos elégedettségi pontként. Összességében az látszódott, hogy azok a trénerek, akik az attitűdök és az ismeretek szintjén jobb eredményt értek el, jellemzően magasabb átlagos elégedettség pontszámokkal rendelkeztek (r = 0,64, p = 0,002 < 0,05). Viszont ha csak az elégedettség-pontszámokra támaszkodna a trénerek kiválasztása egy hipotetikus következő tréningre, és a trénerek felének jutna ott hely, akkor például a legeredményesebb kilenc trénerből kettő nem kerülne kiválasztásra (4. diagram, kiemelve). És két olyan tréner is van, aki teljes elégedettséget váltott ki (maximális 4 pontos átlagot szerezve), pedig tanulási hatásában a mezőny második feléhez tartozik.

4. diagram • Elégedettség- és hatásalapú rangsorok összehasonlítása

(Forrás: saját számítás a saját és VTKI adatbázisa alapján)

Ezek az eredmények megerősítik a hatásosságmérés fontosságát. Azt bizonyítják, hogy a hatásosság mérése nélkül csak megbízhatatlan információnk van egyrészről arról, hogy mely módszertanok eredményesek, másrészről arról, hogy mely trénerek alkalmasak a képzés céljának megvalósítására. Egy következő kutatásban - amire a KÖFOP keretében tervezett kormánytisztviselői integritástréningek nagyszerű lehetőséget szolgáltatnának - fontos lenne ezt a kérdést pontosabban vizsgálni.

7. Konklúzió

Kiindulópontunk a hatásosságmérés fontossága és felelőssége volt. Kutatásunkkal a tréningek hatásosságát akartuk igazolni, és azt megmutatni, hogy olyan egyszerű módszerrel is

- 21/22 -

lehetséges igazolni a hatást, ami nem haladja meg az elégedettségméréshez szükséges technikai és szervezési kompetenciát.

A fenti elemzés megmutatta, hogy a bemutatott módszer validálásra alkalmas. Az elemzés igazolta, hogy átlagosan a kívánt irányba változott a résztvevők tudása és attitűdje. Az is látszik az eredményből, hogy mely kérdésekben sikerült hatást elérnünk, és mi az, ami nem ment át. (Ez fontos üzenet a tréningmódszertan fejlesztéséhez is.)

Az itt bemutatott elemzés olyan kutatáson alapul, amelynek körültekintő megtervezésére nem voltak adottak a feltételek. Ugyanakkor a módszer továbbfejleszthető. Amennyiben lehetőség adódik megfelelő tervezéssel, előkészítéssel és komolyabb erőforrásokkal megtervezni a tréningek hatását elemző kutatást, a következő elemeiben van értelme továbbfejleszteni a módszert:

- A hatásosságot és elégedettséget azonos kérdőíven szükséges mérni, hogy az összehasonlítás bizonyító erejű eredményt adjon.

- A tanulási hatást 4-6 hónap után ellenőrizni érdemes, hogy a rövid és hosszabb távú tanulási hatás összehasonlítható legyen.

- A kérdőívbe célszerű több olyan (akár szociodemográfiai, akár személyiségtípusú, pszichológiai) kérdésnek a beillesztése, amely potenciálisan a tréning hatásán kívül befolyásolni, tompítani avagy felerősíteni képes a tréning, vagy éppen a trénerek hatását.

- Célszerű egy kontrollcsoport bevonása, amelynek tagjai nem vesznek részt képzésen, viszont attitűdjeik és ismereteik potenciálisan ugyanazoknak a tréningen kívüli hatásoknak lehetnek kitéve (pl. feltárt korrupciós esetek médiavisszhangja, szervezeteken átívelő szerkezeti változtatások), amelynek a tréning alanyai is.

- A trénerekhez célszerű közel azonos számú, véletlenszerűen kiosztott résztvevőket rendelni.

- Nagyon érdekes eredményt hozna ezeknek a kérdéseknek a megismétlése az idén induló Közigazgatásfejlesztési Operatív Program hasonló tréningjei során, mert egyrészről a két program közti 3-4 év alatti általános tudásbeli és attitűdváltozás is érdekes lenne, másrészről az, hogy a továbbfejlesztett tréningmódszertan hatásossága erősödik-e.

A kutatásból levonható további következtetésekről és a módszertan fejlesztésére vonatkozó javaslatainkról a tanulmány folytatásában, a következő számban megjelenő második részben számolunk be.

- 22/23 -

8. Bibliográfia

1. Benjamin S. Bloom: Taxonomy of Educational Objectives, Book I: Cognitive Domain, 2[nd] ed, Adison Wesley Publishing Company, New York, 1984.

2. Gellén Marcel: Public administration education in a continental European legalistic setting: the Hungarian case, Teaching Public Administration, 32(2014)/2, 111-126.

3. Gregor Anikó: Tréning hatásvizsgálat, Tanulmány a Nemzeti Közszolgálati Egyetem Integritás Tudásközpontjának megbízásából, Budapest, 2014.

4. Hajnal György: Diversity and convergence: A quantitative analysis of European PA education, Journal of Public Affairs Education, 9(2003)/4, 245-258.

5. Brian Hall: Missing Link? Training Magazine, 2006, 22.

6. Elwood F. Holton: The Flawed Four- Level Evaluation Model, Human Resource Development Quarterly, Vol. 7., No.1., 1996, 5-21.

7. Sylvia Horton: Evaluation of Leadership Development and Training in the British Senior Civil Service: the Search for the Holy Grail, Paper presented at Leading the Future of the Public Sector: The Third Transatlantic Dialogue University of Delaware, Newark, Delaware, USA, 2007, 4-5.

8. Donald Kirkpatrick: Evaluating Training Programs: The Four Levels, Berrett-Koehler, San Francisco, 1998.

9. OECD: Ethics training for Public Officials, Report prepared by ACN, SIGMA and OECD Public Sector Integrity Network, 2013, 8.

10. Pallai Katalin: A tréningek szerepe az integritásoktatásban, Társadalom és Honvédelem, 19(2015)/1, 27-43, 38-41.

11. Pallai Katalin: What can we learn from a simple survey? Effectiveness Assessment of Public Integrity Training Courses - a case study, Paper prepared for the OECD Integrity Forum, Paris, 19-20 April, 2016.

12. Pallai Katalin, Gregor Anikó: 'Assessment of Effectiveness of Public Integrity Workshops for Civil Servants - a case study', Teaching Public Administration Journal, 2016. (DOI: 10.1177/0144739416650431)

13. Pallai Katalin, Gregor Anikó: 'Impact assessment of public integrity training workshops for civil servants', Paper presented at the EGPA (European Group for Public Administration) Annual Conference, Toulouse, 26. August. 2015.

14. Jack J. Philips, Patricia Philips, Ron Stone, Holly Burket: The ROI Field Book: Strategies for Implementing ROI in HR and Training, Butterworth-Heinemann/Elsevier, Massachusetts, 2007.

15. Ronald R. Powell: Evaluation Research: An Overview, Library Trends, 55(2006)/1, 102120.

16. Peter Reason, Hilary Bradbury: The SAGE Handbook of Action Research: Participative Inquiry and Practice, 2nd ed, SAGE Publications, London, 2008.

17. Return on Investment (ROI)

- 23/24 -

Dr. Gregor Anikó, PhD (gregor@tatk.elte.hu): egyetemi adjunktus, 2007-ben végzett az ELTE Társadalomtudományi Karán szociológia szakon, Survey statisztika szakirányon, 2011-ben pedig mesterfokozatot szerzett a Közép-európai Egyetem Gender Studies mesterszakán. 2015-ben védte doktori disszertációját szociológiai tudományok területen az ELTE-n. 2008 óta tart kvantitatív és kvalitatív kutatás-módszertani kurzusokat tanársegédként, majd később adjunktusként az ELTE Társadalomtudományi Karának Társadalomkutatások Módszertana Tanszékén. 2012 óta a kar angol nyelvű Ethnic and Minority Studies MA képzésének szakgazdája.

Dr. Pallai Katalin, PhD (katalin@pallai.hu): 30 év oktatói tapasztalata van, amit magyar és külföldi egyetemi programokban szerzett. A rendszerváltás óta önkormányzati tanácsadó és trénerként dolgozott itthon és külföldön, olyan szakértői csoportokat vezetve, amelyek városstratégiákat és belső szervezeti reformokat dolgoztak ki. Nemzetközi tevékenysége során az elmúlt 25 évben 14 országban végzett hasonló munkákat, tanítva és támogatva a helyi közszolgálatot és civil szervezeteket. Jelenleg a Nemzeti Közszolgálati Egyetem docense, ideje és energiái meghatározó részét a közszolgálati integritásfejlesztés oktatására és kutatására, az integritás fogalom és gyakorlat magyarországi elterjesztésére fordítja. (További információk: www.pallai.hu) ■

JEGYZETEK

[1] Gregor Anikó: Tréning hatásvizsgálat, Tanulmány a Nemzeti Közszolgálati Egyetem Integritás Tudásközpontjának megbízásából, Budapest, 2014.

[2] Pallai Katalin: What can we learn from a simple survey? Effectiveness Assessment of Public Integrity Training Courses - a case study, Paper prepared for the OECD Integrity Forum, Paris, 19-20 April, 2016.

[3] Pallai Katalin, Gregor Anikó: 'Assessment of Effectiveness of Public Integrity Workshops for Civil Servants -a case study', Teaching Public Administration Journal, 2016. (DOI: 10.1177/0144739416650431).

[4] Pallai Katalin: A tréningek szerepe az integritásoktatásban, Társadalom és Honvédelem, 19(2015)/1, 27-43, 38-41.

[5] Benjamin S. Bloom: Taxonomy of Educational Objectives, Book I: Cognitive Domain, 2[nd] ed, Adison Wesley Publishing Company, New York, 1984.

[6] "Az integritás a közigazgatásban olyan működésmódot jelent, amely lehetővé teszi, hogy a közigazgatás és a közigazgatási szervezet a ráruházott hatalmat és erőforrásokat a demokratikus értékeknek és szabályoknak megfelelően, a hivatalosan elfogadott és igazolt közérdek megvalósítására eredményesen használja." (Pallai: A tréningek... i. m., 29.

[7] OECD: Ethics training for Public Officials, Report prepared by ACN, SIGMA and OECD Public Sector Integrity Network, 2013, 8.

[8] Pallai Katalin, Gregor Anikó: 'Impact assessment of public integrity training workshops for civil servants', Paper presented at the EGPA (European Group for Public Administration) Annual Conference, Toulouse, 26. August. 2015.

[9] Pallai-Gregor: Impact..., i.m., 2015.

[10] Pallai: What..., i.m

[11] Sylvia Horton: Evaluation of Leadership Development and Training in the British Senior Civil Service: the Search for the Holy Grail, Paper presented at Leading the Future of the Public Sector: The Third Transatlantic Dialogue University of Delaware, Newark, Delaware, USA, 2007, 4-5.

[12] Peter Reason, Hilary Bradbury: The SAGE Handbook of Action Research: Participative Inquiry and Practice, 2[nd] ed, SAGE Publications, London, 2008.

[13] Donald Kirkpatrick: Evaluating Training Programs: The Four Levels, Berrett-Koehler, San Francisco, 1998.

[14] Elwood F. Holton: The Flawed Four- Level Evaluation Model, Human Resource Development Quarterly, Vol. 7., No.1., 1996, 5-21.

[15] Return on Investment (ROI)

[16] Jack J. Philips, Patricia Philips, Ron Stone, Holly Burket: The ROI Field Book: Strategies for Implementing ROI in HR and Training, Butterworth-Heinemann/Elsevier, Massachusetts, 2007.

[17] Brian Hall: Missing Link? Training Magazine, 2006, 22.

[18] Sylvia Horton: i. m.

[19] Mi egy teljesen új fogalom és terület első érzékenyítő tréningjeit vizsgáltuk. Ebben az esetben különösen nagy volt annak a veszélye, hogy a résztvevő azt érzékeli célnak, amit kap, mert nem ismeri és a tréning előtt nem is érti a megrendelői célokat.

[20] Horton: i. m., 4.

[21] Részletesebb leírás: Pallai: A tréningek... i. m., 37.

[22] Hajnal György: Diversity and convergence: A quantitative analysis of European PA education, Journal of Public Affairs Education, 9(2003)/4, 245-258.

[23] Gellén Marcel: Public administration education in a continental European legalistic setting: the Hungarian case, Teaching Public Administration, 32(2014)/2, 111-126.

[24] Részletesebb bemutatás: Pallai: A tréningek.... i. m., 38.

[25] Bloom: i. m.

[26] Ronald R. Powell: Evaluation Research: An Overview, Library Trends, 55(2006)/1, 102-120.