Mike Nimród[1] - Karsai Krisztina[2] - Orbán Gábor[3] - Bubelényi Alexandra[4]: MI-asszisztencia és a jogi oktatás: ChatGPT alkalmazása a joghallgatók kritikai gondolkodásának fejlesztésében (FORVM, 2024/1., 157-190. o.)

1. Bevezetés és problémafelvetés

Az OpenAI által 2022 novemberében bemutatott ChatGPT jelentős hatást gyakorolt a tudományos világra és a mindennapi életünkre is. A mesterséges intelligencia (MI) alapú eszköz megjelenése és használata alapvető változásokat idézhet elő az oktatásban, azonban az egyetemistákra, a tanulási folyamatra gyakorolt közvetlen hatása még nem teljesen ismert.

Ez a tanulmány a ChatGPT (használatának) a felsőoktatásban tanuló hallgatók hatékonyságára, eredményességére és kritikus gondolkodására gyakorolt hatását vizsgálja. Ennek körében elsősorban azt elemezzük, hogy a ChatGPT-hez való hozzáférés egy komplex szakmai teszt elvégzése során milyen hatással van a hallgatók teljesítményére. A vizsgálat során a hallgatók kísérleti vagy kontrollcsoportba kerültek besorolásra, s míg a kontrollcsoport tagjai egy ún. open-book (nyitott könyves) teszt megoldása során kizárólag hagyományos böngészős keresést végezhettek, a kísérleti csoport a ChatGPT-t is felhasználhatta a tesztírás közben.

A minta 304 hallgatóból állt, akik magyarországi felsőoktatási intézményekben folytatják tanulmányaikat. A kutatásba az informatikai, jogi és a kommunikáció/médiatudomány képzési területeken tanuló hallgatók közül vontuk be az önkénteseket. E jelentősen eltérő tudományterületeket azért választottuk, mivel az ezeken a szakokon képzett jövőbeli szakemberek eltérő célokra tudják használni az MI-t, így informatikusok esetében a kódírásban, a joghallgatók esetében a jogszabályok gyorsabb "értelmezésében", míg a kommunikáció szakos hallgatók esetében online tartalmak készítésében lehet segítség a ChatGPT használata.

- 157/158 -

Az eltérő területeken lefolytatott vizsgálatok lehetőséget biztosítanak a technológia alkalmazásának hatásainak megfigyelésére a felsőoktatásban tanuló hallgatók szélesebb spektrumán. Az eredmények hozzájárulnak az MI oktatásban betöltött szerepének jobb megértéséhez és irányt mutathatnak a jövőbeni oktatási módszertanok kialakításához.

2. ChatGPT-ről és a nagy nyelvi modellekről

Az első chatbot megjelenésétől több évtizednyi folyamatos technológiai fejlesztés és kutatási tevékenység vezetett a ChatGPT jelenlegi verziójáig. Az első ismert chatbot ELIZA névre hallgatott, és 1966-ban került először alkalmazásra egy terapeutával folytatott beszélgetés szimulálása során[1]. Néhány évvel később, 1970-ben megjelent Terry Winograd SHRDLU nevű számítógépes programja, amely képes volt a természetes nyelv megértésére és szöveg alapú válaszok generálására[2]. Azonban mind az ELIZA, mind a SHRDLU rendszerek korlátozottak voltak abban, hogy csak előre meghatározott minták alapján tudtak válaszolni vagy szövegeket generálni, azaz nem voltak képesek változatos és kontextusfüggő kommunikációra, csak meghatározott kérdésekre vagy parancsokra tudtak adott sablonokból válaszolni.

Az 1980-as években olyan statisztikai nyelvi modellek kerültek kifejlesztésre, amelyek előre jelezték egy adott szó megjelenésének valószínűségét egy szövegben, és diskurzusstratégiák modelljeit dolgozták ki a természetes nyelvi generálás (Natural Language Generation vagy NLG)[3] folyamatának javítása érdekében[4]. Ezek a modellek képesek voltak a szöveg generálására a legvalószínűbb szavak kiválasztásával. Az egyik figyelemre méltó fejlemény az 1990-es években a rejtett Markov-modellek (Hidden Markov Models vagy HMM) bevezetése volt, amelyek olyan statisztikai modellek voltak, amelyek a szósorozatok valószínűségi eloszlását rögzítették[5]. Ez hasznossá tette őket olyan feladatokhoz, mint például a beszédrész-címkézés[6]. A beszédrész-címkézés folyamata során egy megadott dokumentumban szereplő szavakat kategóriákba sorolják az alapján, hogy az adott szó a mondanivalónak melyik részét képezi. A beosztás a szó nyelvtani szerepe alapján történik[7].

- 158/159 -

Az 1990-es években jelentős áttörést jelentett a tudásalapú szöveggeneráló rendszerek fejlesztése. Ezek a rendszerek előre meghatározott szabályokon és tartomány-specifikus tudáson alapuló szöveges tartalmakat generáltak. Példa erre a Cleverbot, amelyet Rollo Carpenter adott ki 1997-ben, és amely képes volt egy ún. visszacsatolási hurkon keresztül tanulni a felhasználóktól érkező bemenetekből[8]. A rendszer főként kézzel kódolt nyelvtani és szemantikai szabályokat alkalmazott pontos, de rugalmatlan szöveggeneráláshoz. A fejlesztés jelentős erőfeszítést igényelt, mivel az akkori technológiai korlátok - különösen az alacsony számítási teljesítmény és a nagyméretű adatkészletek hiánya - komoly kihívást jelentettek. Az elegendő számítási kapacitás hiánya nehezítette a fejlett szöveggeneráló rendszerek hatékony működtetését, míg a megfelelő adatbázisok hiánya korlátozta a rendszerek tanulási és adaptációs képességét.

A 2000-es években a statisztikai nyelvi modellek iránti érdeklődés ismét nőtt, különösen a neurális nyelvi modellek területén[9]. Ezek a modellek mély neurális hálózatokat (Deep Neural Networks vagy DNN) alkalmaznak a nyelv statisztikai szerkezetének megtanulására, majd ezen szerkezet alapján szöveget generálnak[10]. Ez a megközelítés jelentős előrelépéseket hozott az MI területén, ideértve az OpenAI generatív nyelvi modelljeinek, mint például a Generative Pre-trained Transformer (GPT-1, GPT-2, GPT-3) fejlesztését és evolúcióját. Ezeket a modelleket már nagy mennyiségű adat alapján képezték ki, és képesek releváns és koherens szöveget generálni, amely alig különböztethető meg az ember által írt szövegektől.

2022. november 30-án mutatták be a ChatGPT prototípusát, amely rövid időn belül nagy érdeklődést váltott ki és szenzációvá vált. A szöveg bemeneteléhez és kimeneteléhez a GPT-3.5 nagy nyelvi modellt használtak. A GPT-3.5 a GPT-3 továbbfejlesztett változata, amely szintén az OpenAI fejlesztése és a megerősítő tanulás mellett (Reinforcement Learning from Human Feedback vagy RLHF) a felügyelt tanulás módszerét (Proximal Policy Optimization vagy PPO) is alkalmazza[11]. A modell betanításának alapját nagy mennyiségű, emberek által létrehozott szöveg képezte, a betanítás után a modell megismerte az emberi beszéd működését, és azt is megtanulta, hogyan kell megfelelően reagálni bizonyos kérdésekre és kérésekre. A teljesítmény javítása érdekében a betanításra humán oktatókat használtak, akik rangsorolták a chatbot által adott válaszokat. A betanítást a Microsofttal együttműködve végezték az Azure szuperszámítógép infrastruktúráját

- 159/160 -

felhasználva[12]. A ChatGPT 3.5 verziója rendkívül gyorsan felkapottá vált, és alapvetően lelkes fogadtatásban részesítette mind a szakma, mind a laikus közönség. Sokan "a valaha volt legjobb MI chatbotként" méltatták[13]. A megjelenés során Elon Musk azt nyilatkozta, hogy "a ChatGPT ijesztően jó, már nem vagyunk messze a fenyegetően erős MI-től"[14].

A ChatGPT nagy potenciállal rendelkezik abban, hogy segítséget nyújtson tanulmányok, szövegek tervezésében, elemzés elkészítésében[15]. Hasznos eszközként fel lehet használni bizonyos folyamatok felgyorsításában, meglevő információk összegzésében. Egyik legnagyobb előnye, hogy képes nagy mennyiségű szöveges adatot feldolgozni rövid időn belül, ezáltal elemzést, útmutatást nyújthat a felhasználónak. A kiváló generálási képesség ellenére azonban mindenképp érdemes a ChatGPT által alkotott szövegeket felülbírálni. A chatbot ugyanis képes arra, hogy látszólagosan jól megfogalmazott, tartalmilag helytálló mondatokat hozzon létre, miközben a technológia alkalmanként nem megfelelő információkat generál, úgymond "hallucinál". A ChatGPT különböző adatok és minták alapján működik, így néha hajlamos olyan szöveget generálni, amely nem rendelkezik valós adatokkal[16]. Ez a jelenség akkor figyelhető meg leginkább, ha a ChatGPT-nek egy komplex, vagy mély szakmai ismereteken alapuló kérdést teszünk fel (lásd 1. táblázat).

1. sz. táblázat

Egy a ChatGPT modellel folytatott szakmai beszélgetés részlete

- 160/161 -

Forrás: saját szerkesztés.

Az ilyen jellegű példákból látható, hogy a ChatGPT helytelen, megtévesztő válaszokat is képes adni, magyarázattal is társítva. Az első válaszban hivatkozott jogszabály, azaz a Ptk. 6:159. § (3) bekezdése a kellékszavatosság esetén jelenti ki, hogy jelentéktelen hiba miatt nincs elállásnak helye. Tehát a hivatkozott § is önmagában hibás. Továbbá a második kérdés esetén azt vizsgáljuk, hogy a 2022-es webshopokat érintő e-kereskedelmi jogszabályváltozásokat ismeri-e a chatbot? A válasz igazolja ennek ellenkezőjét, mivel a frissített jogszabályok értelmében a hibás teljesítés vélelme 12 hónapra növekedett[17].

A ChatGPT ugyanakkor nem alkalmas még arra, hogy teljesen helytálló esszéket írjon meg, viszont nagy arányban képes kivenni részét egy szöveg megírásában. Az egyik legvitatottabb kérdés az Ml-vel kapcsolatban az, hogy használata mennyire etikus, és hogy kell-e küszöböt meghatározni az MI által generált tartalom elfogadható mennyiségére. Gyakorta vitatják, hogy plágiumnak[18] számít a ChatGPT használata, mivel valójában a generált szövegek nem más személynek a szellemi alkotását jelentik, hanem - legfeljebb - más személyek szellemi alkotásának nyelvi alkotóelemeinek (szavainak) ismételt felhasználását. A ChatGPT használata akkor tekinthető tudományos csalásnak, ha a tudományos szövegek segítséggel történő előállítását annak tekintjük, de ez nem tekinthető plágiumnak.

- 161/162 -

Az MI által generált szöveg észlelésének eszközei főként gépi-tanulás alapúak, ahol az osztályozót arra tanítják, hogy felismerje a számítógép által generált szöveget tartalmazó szövegmintákat[19].

Az oktatási intézményekben a ChatGPT használata jelentős problémákat okozhat a hallgató értékelése során. A plagizálással kapcsolatos kétségek mellett, valós érvként jelenik meg, hogy a ChatGPT tisztességtelen előnyhöz juttathatja a hallgatókat a gyors és azonnali válaszok generálása végett[20]. Ez az előny nem csak az általános (szöveges) esszéírás során lehet jelen, hanem például a számítógépes programozási feladatoknál is, mivel a ChatGPT képes olyan kimenetelek generálására, amelyek szorosan kötődnek a digitális technológiához[21]. Hasonlóan, a ChatGPT képes jogi kérdésekben a választ alátámasztó, vonatkozó jogszabályt pontosan megjelölni. Erre példa a következő promptválaszpár (lásd 2. táblázat).

2. sz. táblázat

Jogi kérdésre adott ChatGPT válasz

- 162/163 -

Forrás: saját szerkesztés.

Az előbbieken túlmenően további veszélyei is vannak a ChatGPT-nek, hiszen a fenntartása és működtetése erőforrásigényes és erősen környezetszennyező[22] is. Egyre több bizonyíték áll továbbá rendelkezésre arra vonatkozóan is, hogy a ChatGPT finomhangolása érdekében az OpenAI kizsákmányolt és alulfizetett adatcímkézőkre támaszkodott afrikai, illetve más alacsony jövedelmű országokban[23]. További etikai aggály, hogy a modell nem teljesen átlátható,[24] s ugyan a chatbotok nem értik valójában az általuk készített szövegeket,[25] egyre pontosabbá válik az emberi elme utánzása. Ez pedig lehetővé teszi a ChatGPT számára, hogy sikerrel teljesítse az emberek számára tervezett teszteket. Ezen kihívások teljes körű megoldásához többszintű társadalmi szerepvállalásra van szükség.

3. Szakirodalmi elemzés és összegzés

A szakirodalmi elemzés első körében 53 cikk került feldolgozásra 2023 augusztusában a Google Scholar és Scopus adatbázisok átvizsgálásval. Mivel a ChatGPT és az MI folyamatosan kutatott és népszerű téma, a szakirodalmi elemzés 2024 januárjában frissítésre került, hogy naprakész legyen a tanulmány szempontjából. A második frissítési kör után a kutatáshoz feldolgozott publikációk száma összesen 91 cikkre bővült.

Az elemzés célja az volt, hogy szisztematikusan azonosítsa a ChatGPT felsőoktatásra gyakorolt hatásával kapcsolatos kutatási hiányosságokat. A cikkek elemzése rámutatott, hogy bár számos tanulmány foglalkozik a ChatGPT és a felsőoktatás témájával, kevés olyan kutatás készült, amely az MI konkrét hatását vizsgálja a felsőoktatásban tanuló hallgatók kritikus gondolkodását érintően. Megállapítható volt még továbbá, hogy az előző kutatásokban a ChatGPT hatásáról és a róla alkotott véleményekről származó adatok főleg kérdőíves formában kerültek begyűjtésre.

Essel és szerzőtársai[26] a jelen kutatáshoz hasonló módon vizsgálták, hogy a ChatGPT milyen hatással van az egyetemi hallgatók kritikus, kreatív és reflektív gondolkodási

- 163/164 -

készségeire. A kutatásban 125 ghánai hallgatóból álló minta szerepel, akiket véletlenszerűen osztottak be a kísérleti vagy kontrollcsoportba. Az eredmények azt mutatták, hogy a ChatGPT alkalmazása észrevehetően befolyásolta a tanulók kritikus, reflektív és kreatív gondolkodási készségeit.

Choi és szerzőtársai[27] a tanulmányukban bemutatták az első randomizált, kontrollált kísérletet, mely az Mi-asszisztencia hatását vizsgálta az emberi jogi elemzésre. A kutatás során jogi egyetemistákat osztottak véletlenszerűen csoportokba, hogy realisztikus jogi feladatokat végezzenek el, vagy GPT-4 segítségével, vagy anélkül. A diákokra fordított időt mérve és az eredményeket vakon értékelve a kutatók arra a következtetésre jutottak, hogy a GPT-4 hozzáférés csak enyhén és inkonzisztensen javította a résztvevők jogi elemzésének minőségét, azonban jelentős és következetes sebességnövekedést eredményezett. Az MI segítségével a kimenet minősége egyenetlenül javult - ahol egyáltalán hasznos volt, ott a legkevésbé képzett résztvevők éltek a legnagyobb javulással. Az MI segítsége ugyanakkor az idő megtakarításában minden résztvevő számára nagyjából azonos volt, függetlenül az alapvető sebességüktől. A követő felmérések során a résztvevők növekedett elégedettséget jelentettek az MI segítségével végzett jogi feladatok elvégzése során, és helyesen találták ki, mely feladatokban volt a GPT-4 a legsegítőbb. Ezek az eredmények fontos leíró és normatív következményekkel bírnak a jogászi hivatás jövőjére nézve. Leíró szempontból azt sugallják, hogy az MI segítsége jelentősen javíthatja a termelékenységet és az elégedettséget, és szelektíven alkalmazható a jogászok által azon területeken, ahol az MI a leginkább hasznos. Mivel az MI eszközök kiegyenlítő hatással vannak a teljesítményre, elősegíthetik az egyenlőséget egy hírhedten egyenlőtlen szakmában.

4. ChatGPT és a (jogi) szakmai tartalmak

A nagy nyelvi modell működési elvéből (szavak egymásutániságának predikciója, statisztikai valószínűségek alkalmazása) szükségszerűen következik, hogy a ChatGPT teljesítménye is a specifikus szakmai tartalmak esetén átlagos, illetve olykor kifejezetten gyenge[28].

A jogi-szakmai kérdésekre vonatkozó promptok[29] meglehetősen sokfélék lehetnek, valójában bármilyen természetű, jogi információ keresésére alkalmasnak tűnik a nagy nyelvi

- 164/165 -

modell, hiszen a jogot mi magunk is a nyelven keresztül észleljük és értelmezzük. Fontos megemlíteni, hogy a jogi szakmai tartalom csak a felhasználó számára jelent speciális korpuszt, a nyelvi modell - hacsak nem alkalmaztak külön témaspecifikus forrásanyagot (a ChatGPT-nél sem alkalmaztak kategorizálást) - értelemszerűen tartalom alapján nem tesz különbséget.[30] Ez azt is jelenti, hogy a jogi (és más szakmai) tartalmak vonatkozásában a ChatGPT "hallucinálása"[31] különösen veszélyes, mert az adekvátan szofisztikált (azaz akár jogászi bikkfanyelvnek is tűnő) válaszok a kevéssé tájékozott felhasználót[32] a nyelvi megfelelőség miatt félre fogják vezetni. A nagy nyelvi modellekre jellemző, hogy mindent meg tudnak tanulni[33], de azt nem, hogy melyek a helyes válaszok[34] (logika, értelem, jog, esetleg morál alapján). Emiatt azon sem kell csodálkozni, hogy akár ugyanazt a promptot egymás után lefuttatva, eltérő válaszokat is ad a modell. A modell tehát valójában nem keresőszoftver, hanem egy nyelvi eszköz[35], ekként a válaszait nem az adattartalma, hanem a kreált szöveg alapján lehet értékelni.

Dahl és szerzőtársai[36] kurrens kutatásukban (2024) kimutatták, hogy a jogi hallucinációk riasztóan gyakoriak, kb. 69%-a ChatGPT- 3.5, 88% a Llama 2 esetén (amerikai szövetségi bírósági ítéletek tartalmát illetően). Bizonyították továbbá, hogy e nyelvi modellek nem képesek korrigálni a felhasználó téves jogi feltételezéseit sem, azaz a tényekkel ellentétes kérdésfeltevések esetén is gyengén teljesítenek. Egyébként éppen a felhasz-

- 165/166 -

nálói percepció miatt, ha jogi jellegű kérdést kap a ChaptGPT, általában felhívja a figyelmet a jogi szaktudással rendelkező más személyek megkérdezésének a szükségességére, de van, hogy ez elmarad. Mik is óva int, és megfogalmazza, hogy "caveat lector" (óvakodj olvasó), "a jogi szaktudás nem helyettesíthető szavak valószínűségi alapú előjelzésével."[37]

A keresett jogi információk "természetéből" kiindulva - némi egyszerűsítéssel ugyan, de jól leírtható módon - lényegében háromféle generált szöveget különböztethetünk meg, illetve itt még ezek kombinációját is külön kezeljük. Mindezt az előzőek figyelembe vételével és azzal, hogy mire használják a jogászok és a joghallgatók a ChatGPT-t.

A jogrenddel, a jogi szabályozással, fogalmakkal, esetekkel kapcsolatos tényadatok kutatása (például van-e esküdtszék Magyarországon, tagja-e Lengyelország az Európai Ügyészségnek, mikori a német alkotmány, a hatályos polgári törvénykönyvnek hány szakasza van, mit jelent az ági öröklés, mi az a TRIPS egyezmény? stb.).

Valamely jogkérdés eldöntésének kutatása, amely persze lehet jogi tény is (pl. büntetendő-e Magyarországon az emberölés? igen, büntetendő, de ha jogos védelem esete áll fenn, akkor mégsem, de akkor se, ha 11 éves a tettes, kivéve, ha van közvetett tettesség), de valójában jogértelmezést és szubszumciót igényel (érvelés útján jutunk el a válaszig, ha a humán jogász válaszolna a kérdésre).

Valamely "genuin" jogi szöveg generálása (pl. adásvételi szerződés, integritási szabályzat stb.).

Az itt képviselt álláspont szerint a negyedik csoportot azok a szövegek képezik, amelyekben a ChatGPT-t ezek kombinálására használják fel kifejezetten oktatási célra, így különösen esszé generálására valamely jogi probléma témájában, tesztkérdések generálására, vagy éppen tesztkérdések megválaszolására, jogeset-megoldására, jogeset generálására is is alkalmazva. Ezek tehát nem a konkrét jogi munkában, hanem a jogi oktatásban merülnek fel tipikusan.

5. Egyetemi (jogász)képzés - digitalizáció - ChatGPT

A modern társadalmainkban a jogász főszabály szerint kétféle tevékenységet végez, megoldja a többiek jogi problémáit, konfliktusait, segít és ügyeket intéz, illetve a jogszabályalkotó tevékenységével az emberek, a közösségek számára fontos értékeket mérlegeli és ütközteti a társadalmi problémákat érintő megoldási koncepciók kidolgozása során és a társadalmi együttélési szabályok jogilag értelmezhető sarokpontjait fekteti le. A digitalizált társadalomban a jogászok feladata is részben változik, így a hagyományos feladatok mellé az algoritmusok kialakítási és ellenőrzési folyamataiban való részvétele (az algoritmusok "idomítása") kardinális feladatként jelentkezik. Hagyományosan - a formalizált és intézményesített jogrendszert működtető országokban - egyfelől a jogászi tevékenységre tanít meg a jogászképzés, azaz a társadalom és annak tagjainak jogi problémáinak önálló megoldására képes szakembert bocsát ki a felsőoktatás. Vagy hétköznapibb kifejezéssel: jogászképzés egyik feladata a jogi "kézművesek" és "iparosok" képzése. Ebben az értelemben a jogi oktatás igen gyakorlatias, valójában a jogászi professziók emberanyagát

- 166/167 -

állítja elő, konstans és folyamatos módon. Másfelől azonban nagyon absztrakt és elméleti is, mivel a jogrend, a jogágak és az egyes jogintézmények elméleti modelljeiről, azok működéséről, egymásra hatásáról szól. William Twining 1997-ben ezt a "Periklész és a vízvezetékszerelő" dualizmusában ("Pericles and the Plumber") ragadja meg.[38] A jogászképzés tehát Periklészeket bocsát ki, akik ragyogóan bánnak a "jogi csavar-kulccsal is."[39]

Tekintettel a nagy nyelvi modellek - itt is bemutatott - zajos sikerére, valamint a gyors és jelentős penetrációjára a jogi munkában, kulcsfontosságú, hogy a jogászképzésben is megjelenjen e kihívásokkal való szembenézés. Ekként a jövő jogászainak is meg kell érteniük legalább alapvető szinten e modellek (és minden más MI) működését, előnyeit és korlátait, és megfelelő, pragmatikus kritikai szemlélettel kell közelíteniük ezen eszközök használatához.

A szakirodalmi áttekintés kiegészítésére interjúk készültek 3 szakértő oktatóval, akik a jog és média tanulmányok területére specializálódtak. Az interjúk az oktatók személyes tapasztalataira összpontosítottak, szó esett a MI felhasználhatóságáról az oktatásban, valamint kitértünk személyes véleményükre és szokásaikra és az általuk észlelt előnyökre és kihívásokra. Az interjúk 2023 őszén kerültek lebonyolításra, amikor a ChatGPT már 1 éve elérhető volt. Az interjúalanyaink voltak:

Dr. Mezei Péter, egyetemi tanár, Szegedi Tudományegyetem Állam- és Jogtudományi Karán.

Dr. Ződi Zsolt, a Nemzeti Közszolgálati Egyetem Információs Társadalom Kutatóintézetének tudományos főmunkatársa.

Dr. Polyák Gábor, az Eötvös Loránd Tudományegyetem Művészetelméleti és Médiakutatási Intézet vezetője, Média és Kommunikáció Tanszék vezetője.

5.1. Hogyan használja a ChatGPT-t a mindennapi munkájában vagy tevékenységeiben?

Mezei Péter, bár sokat kísérletezett a ChatGPT-vel, nem használja sem oktatásra, sem akadémiai munkája során a pontatlan és nem kielégítő válaszok végett. A generatív MI kép, hang és videó anyagok generálásában látja inkább a potenciált. Az MI képgenerátorok gépi tanulási algoritmusokkal dolgoznak, és percek alatt testreszabott illusztrációkat hoznak létre. A hanggenerálás kevésbé ismert aspektusa a mesterséges intelligenciának, de a ChatGPT kiváló nyelvértési képességei és különféle rendszerekbe való integrálhatósága kiterjesztette alkalmazhatóságát számos területen, beleértve az ügyfélszolgálatot, az oktatást, a tartalomgenerálást, az egészségügyet, a játékokat, a kutatást és a felfedezést.

Ződi Zsolt kezdetben sokat kísérletezett a ChatGPT-vel, főleg jogi kérdéseket tett fel és különböző promptokkal próbálkozott. Azonban közel egy év elteltével abbahagyta a használatát, mert a ChatGPT 3.5 verziója csak 2022 januárjáig rendelkezik adatokkal, így friss információk hiányában nem tudta hatékonyan használni szakmai feladataihoz. Ződi

- 167/168 -

munkájában elengedhetetlen a naprakész szakterületi ismeret, emiatt a Google-t és különböző szakcikk-keresőket használja, véleménye szerint a ChatGPT nem biztosít megfelelő minőségű és pontos forrásokat. A Bing Chat chatbot használata során is hasonló problémákkal szembesült, így inkább a hagyományos forráskeresést részesíti előnyben. Még azt is megfogalmazta, hogy a magánéleti ügyekre, így receptek keresésére, autószerelő keresésére, jegyek foglalására sem használható, mivel nem kínál konkrét megoldásokat. Ződi Zsolt szerint a ChatGPT és egyéb chatbotok nem alkalmasak konkrét és szűk szakterületi tények kezelésére, inkább kreatív ötletadásra használhatók. A ChatGPT hasznos eszköz lehet gondolatmenetek elindítására vagy új ötletek kiegészítésére.

Polyák Gábor az oktatási munkájában nem használja a chatbotot, ugyanis az előre meghatározott szakirodalom feldolgozása mentén, kifejezetten ezekből dolgozik, de fontosnak tartja, hogy diákjai kísérletezzenek a ChatGPT-vel. A világ számos változáson megy keresztül, és fontos, hogy a hallgatók már a kezdetektől eszközként tekintsenek a ChatGPT-re. Elmondta továbbá, hogy kollégái is nyitottak a MI használatára és egyetértenek abban, hogy integrálni kell az oktatásba. A fő probléma az integrálás mértékében és a határok meghúzásában rejlik. A ChatGPT beépítése mellett érdemes szóbeli és "terepmunka" jellegű feladatokkal gazdagítani a tananyagot, mivel ezekben a chatbot nem tud segíteni.

5.2. Hogyan használják fel a hallgatók a mesterséges intelligenciát?

Mezei Péter nem tapasztalta, hogy hallgatói felhasználták volna a ChatGPT-t munkájukhoz. Úgy véli, a hallgatók felismerik, hogy a ChatGPT nem hatékony komplex jogesetek megoldására, ugyanakkor rámutatott, hogy mivel a diákoknak gyakran vitázniuk kell általuk olvasott jogesetekről, a ChatGPT ebben a folyamatban rövid szövegek készítésében segíthet, de nem helyettesíti a részletes megértést. Véleménye szerint a ChatGPT hasznos lehetne jegyzetek készítésre, mivel a diákok könnyen rögzíthetnék a tanult anyagot az órákon, és hatékony tanulási segédleteket készíthetnének. Azonban a vizsgákon a jegyzetek önmagukban nem elegendőek, különösen nem a jogi területen. A ChatGPT összefoglalhatná és strukturálhatná a jegyzeteket, így segítve a diákokat a vizsgára való felkészülésben.

Ződi Zsolt diákjai alkalmanként pluginokat[40] fejlesztenek, és kísérleteznek a prompt engineeringgel[41]. A hallgatók próbálnak specifikusabb, árnyaltabb utasításokat adni a nyelvi modellnek, hogy a lehető legjobb válaszokat kapják. Ezen kívül a diákok a ChatGPT-t szövegalkotásra és átfogalmazásra használják. Előfordul, hogy a beadandók szövegezését a MI oldja meg, vagy a diákok elkérik egymás munkáját és a ChatGPT segítségével teljesen átírják. Ződi Zsolt szerint a MI használata nem vonható meg a diákoktól,

- 168/169 -

és mivel az oktatás nem csak a tudásanyag leadásából áll, hanem fontos a diákok ösztönzése, kíváncsiságuk fenntartása és felfedezéseik támogatása, ezért a ChatGPT-vel kapcsolatos lehetőségeket is meg kell ismerniük. Progresszívan be kell vonni tehát az MI-t az oktatásba, mint kollaborációs eszközt.

Polyák Gábor nem észleli a ChatGPT használatát diákjai részéről, bár valószínűnek tartja, hogy a diákok a használat tényét nem osztják meg oktatóikkal, az esetleges következményektől való félelem miatt.

5.3. Plágium-e Ön szerint a ChatGPT használata?

A terület jogi kutatójaként Mezei Péter állítja, hogy a ChatGPT használata nem számít plágiumnak, mivel a plágiumhoz más személy munkájának felhasználása vagy másolása szükséges. Azonban a ChatGPT használata következményekkel járhat a diákok számára. Az esszéírás során lehetne ugyanis a leginkább használni a ChatGPT-t, de ilyen esettel még nem találkozott. Mivel a ChatGPT nem tud kielégítő választ adni a komplex kérdéseire, így nem látja esélyét annak, hogy a hallgatók sikeresen használják az MI-t az egyéb beadandók megírására. Ha azonban egy hallgató mégis MI-t használna, Mezei Péter egy személyes találkozót kezdeményezne a hallgatóval, hogy megvitassák az ezzel kapcsolatos esetleges problémákat és következményeket, figyelemmel arra, hogy ez egy új technológia, és a hallgatók nem feltétlenül vannak tisztában a potenciális kockázatokkal és korlátokkal. Az ilyen munkát nem utasítaná el egyébként automatikusan, de lehetőséget adna a hallgatónak, hogy újraírja azt.

Ződi Zsolt is elmondta, hogy a jelenlegi jogszabályok alapján a ChatGPT használata nem számít plágiumnak, mivel a plágiumhoz más személy munkájának felhasználása vagy másolása szükséges. Azonban egy hallgató tanulmánya nem lesz hatékony, ha túlnyomórészt a mesterséges intelligenciára hagyatkozik. Az intézményeknek szükséges átalakítaniuk belső szabályrendszerüket, hogy a MI használata beépüljön a tantervbe.

Polyák Gábor sem tartja plágiumnak a ChatGPT használatát, mivel a plágium egy másik természetes személy munkájának felhasználását jelenti a szerző feltüntetése nélkül. A ChatGPT maga nem szerző, így az algoritmussal generált szöveg felhasználása nem plagizálás. Azonban a chatbot túlzott használata tisztességtelen a hallgató szempontjából. Nehéz egyensúlyt teremteni és olyan feladatokat készíteni, amelyek nyitottak a ChatGPT használatára. Polyák Gábor célja, hogy a diákok annak ellenére, hogy használják a chatbotot, ettől függetlenül tisztában legyenek feladatukkal és a generált tartalmat ne elfogadják, hanem ellenőrizzék. Ehhez az szükséges, hogy ők maguk is tudják a megoldást, így csak a ChatGPT használata inkább a megfogalmazásban, az alkotás folyamatában legyen hasznos. Az intézmény nem tudja megállítani a technológiai fejlődést, így a diákokat a megfelelő használat irányába kell terelni. Tehát például az a fontos, hogy a hallgató képes legyen felismerni az olyan téves információkat, amelyeket a ChatGPT generált. A plágium felismerése már a ChatGPT előtt is nehéz feladat volt, és a chatbot által generált szöveg nem statikus, folyamatosan változik és fejlődik. Ha egy hallgató elfogadja a pontatlan válaszokat, ezáltal helytelen munkát ad át, az lehetőséget nyújt arra, hogy megismerje a chatbot korlátait. A diákoknak kritikus szemmel kell vizsgálniuk a mesterséges intelligenciát, hogy ténylegesen megismerjék és megértsék annak hibáit.

- 169/170 -

5.4. Mélyinterjúk összegzése

Az interjúalanyok egyike sem használja a ChatGPT-t, hivatkozva a bot pontatlanságára. Fontos megállapítani, hogy a három jogász egyöntetűen azt nyilatkozta, hogy a chatbot használata nem minősül klasszikus értelemben vett plágiumnak, ennek ellenére aggasztónak tartják a chatbot túlzott használatát. A ChatGPT oktatásba való integrálásáról eltérően vélekedtek az oktatók, abban viszont egyetértettek, hogy a diákokat nem lehet eltiltani a ChatGPT használatától.

6. Kísérlet a ChatGPT és az egyetemi hallgatók bevonásával

6.1. A kísérlet indoka, kutatási kérdései

A kutatás célja annak vizsgálata, hogy a ChatGPT használatának lehetősége miként hat a felsőoktatásban tanuló hallgatók eredményességére és hatékonyságára. A kísérlet során megfigyelésre került, hogy a technológia alkalmazása mellett hogyan változik meg a hallgatók információkeresése és feldolgozása, és ez milyen befolyással bír a hallgatók problémamegoldó képességét és kritikus gondolkodását illetően.

A kutatási hipotézis szerint a kísérleti csoport hallgatóinak átlagos eredménye - szignifikánsan jobb tesztidő mellett - rétegenként megegyezik a kontrollcsoportéval, azaz a ChatGPT használata a hatékonyság oldalán fejti ki a hatását.

6.2. A tesztek jellemzői - a jogászképzésben[42]

A kutatáshoz olyan tesztet kívántunk összeállítani, amellyel az osztatlan jogászképzés teljes tananyagába tartozó, egyes konkrét tudáselemek elsajátítását fel lehet tárni.

Magyarországon nyolc helyen folyik jogászképzés, ezen intézmények által működtetett szakok tartalma jelentős mértékben megegyezik. Ennek oka egyfelől az, hogy a felsőoktatási szakokra nézve jogszabály tartalmazta 2021. december 30-ig[43] az ún. képzési és kimeneti követelményeket, amelyek a megszerzendő tudás, képesség-készség, attitűd és

- 170/171 -

autonómia (felelősség) felosztásban[44] definiálták a végzett jogászra jellemző fenti komponenseket[45]. Ezen túlmenően lényeges az is, hogy a jogász szakon tanítandó (és tanulandó) tantárgyakat vagy ismeretköröket is tartalmazta a jogszabály, így a jogászképzésben minden egyetemen megjelennek a jogrend rendszeralkotó elemeit (különböző jogágak) tartalmazó tantárgyak, illetve a jogrendet mind működésében, mind szerkezetében meghatározó egyéb társadalomtudományi ismereteket közvetítő tárgyak is[46]. Másrészről - ahogy említésre került korábban - a jogászképzés célja a gyakorló jogászok kibocsátása, akik az ország bármely területén, a jogi foglalkozások bármelyikében helyt kell, hogy álljanak, ekként a jelentős mértékű diverzió nem is lenne elfogadható a jogászképzés tartalmában.

A kérdésekre adott helyes válaszokat elérhetőnek és mobilizálhatónak tekintettük a joghallgatók esetében, amennyiben a tanulmányi útvonalukban már az adott tantárgyat teljesítették (vizsga, gyakorlat, egyéb teljesítés, ami tudást közvetít). Mindegyik kérdés a jogászképzés törzsanyagához tartozik, tehát nem szabadon választott kurzusok témakörei, nem "apróbetűs" tudásanyagra vonatkoznak. Abból indultunk ki tehát, hogy például az ötödéves joghallgató a kérdésekre tudja a választ vagy legalábbis tudnia kellett, akkor, amikor vizsgázott, illetve biztosan hallott róla már. Ennek a kiindulópontnak ott van jelentősége, hogy

- vannak-e olyanok a válaszadók között, akik valóban azonnal tudták a választ az adott kérdésre;

- vannak-e olyanok a válaszadók között, akik az előző tudásukból építkeztek a válaszadáshoz, azaz abból a tudásból, amely ugyan nem volt elegendő a kérdés megválaszolásához, de arra igen, hogy tudják, hol és miként keressék a választ.

A b) ponthoz tartozók azok, akiknek az interakciója és a kérdések megválaszolásának módszere a legrelevánsabb a jelen kutatás elsődleges kutatási kérdései szempontjából.

A kutatást megelőző előfeltételezésünk és egyben saját tapasztalatunk az, hogy a jogi tudás specifikus és annak mobilizálása olyan kognitív műveleteket igényel, amelyek nem, vagy alacsony helyességi aránnyal érhetők el a nagy nyelvi modellek által használt, a szakkifejezések és egyéb nyelvi struktúrák statisztikai gyakoriságon alapuló kapcsolatainak felhasználásával.

- 171/172 -

A tanulási eredmények felől megközelítve a jelen kutatást a "tudás" komponenshez kapcsoltan terveztük meg. Ennek két oka van. Szubsztanciális vagy tartalmi oknak tekintjük azt, hogy a tesztszerű visszakérdezés (vagy a szóbeli vizsga) a tudás mint tanulási eredmény ellenőrzésének a hagyományos és legelterjedtebb eszköze, míg ehhez képest a képesség-készség, attitűd, autonómia és felelősségvállalás mint tanulási eredmények ellenőrzése tipikusan más módszerekkel történik, hiszen olyankor nem a tudás megszerzését kell visszamérni. A formai vagy technikai indok pedig a jelen kutatás választott kísérleti módszeréből következik, tehát abból, hogy tesztet kívántunk alkalmazni.

A jogászképzésben kulcsfontosságú szerepet játszik a jogászi gondolkodásmód, ami lényegében a kritikai gondolkodás szektorális - tehát a jogi szabályozórendszerre vonatkozó - fókuszának megteremtését és megerősítését jelenti. A jogászképzésben a jogászi gondolkodásmód kialakítására irányuló tanulási eredmények[47] a képesség-készség, autonómia, attitűd komponenseknél jelennek meg, de fontos azt is látni, hogy ennek egyes építőelemei lexikálisak, azaz a tudás tanulási eredményéhez tartoznak, így tehát ezek visszakérdezhetők teszt formájában. A kritikai gondolkodáshoz tartozóan a logikus gondolkodás is megjelenik képesség-komponensű tanulási eredményként, ez a képességkomponens, tehát a logikai műveletek alkalmazása (akár a jogi környezetben) azonban jól mérhető a tesztekkel.

A tudás mint tanulási eredmény lexikális tudáselemeket tartalmaz. Ezek általában statikus jellegű tények, illetve adatok; a jogi lexikális tudás is ilyen: ekként az egyes jogi álláspontok (mint tények), jogszabályi normaelemek, szabályozástörténeti tények, rendezőelvek jelentése, joggyakorlati adatok (mikor, mit, miért, döntött úgy el és melyik bíróság) mind a lexikális tudáshoz tartoznak. Látható azonban, hogy igen sokféle és szinte végtelen mennyiségű lexikális ismeret kapcsolódik a jogászi munkához, emiatt a jogászképzés során ezek közül válogatni szükséges a korábban is meghatározott elvek mentén, tehát nem követeljük meg a jogrend egészéhez kötődően a teljes lexikális tudást. Elsajátítani sem lenne lehetséges.

A tudásteszt tartalmának összeállítása során a következő irányadó szempontokat vettük figyelembe.

Egyfelől olyan tudáselemekre vonatkozó kérdéseket alkalmaztunk, amelyek nem képezik értelmezés tárgyát a konkrét válasz megadásakor. Azaz érvelési feladatokat nem integráltunk a tudástesztbe, mivel a kutatás jelen fázisában a szöveges válaszok helyességét (akár a válaszadó, akár a ChatGPT által generálva) emberi ellenőrzés nélkül kívántuk megállapítani. A korábban említett tanulási eredményekkel kapcsolatos következtetések is alátámasztották azt a döntést, miszerint a konkrét tudáselemekre vonatkozó tesztet kívántunk alkalmazni. A logikai gondolkodásra való képességet az egyes tudáselemekkel kapcsolatos logikai műveletek alkalmazásán keresztül lehetett megmérni, illetve bizonyos esetekben a hiányzó tudáselem logikai úton történő pótlására volt lehetőség (a kitöltő részéről).[48]

- 172/173 -

Másrészről a főbb jogágakat megfelelő arányban reprezentáló kérdéseket válogattunk, így megjelent a polgári anyagi jog, a polgári eljárásjog, büntető anyagi jog, büntető eljárásjog, alkotmányjog, jogtörténet, római jog, szellemi alkotások joga, munkajog, közigazgatási jog. Ezek a jogterületek nevesítve voltak a korábbi jogszabályban is, másfelől pedig a jogrend egészének monolit alkotóelemeit képezik ezek.

Harmadrészt egy jogághoz kapcsolódóan többféle nehézségi szintű kérdéseket integráltunk a tesztbe. A nehézségi szintek meghatározása itt kifejezetten aszerint történt, hogy a kérdésekre a válaszok egyébként a bázistudás lexikális részéhez tartoznak-e és így a válaszokat a szokásos kereséssel (nemtudás esetén) könnyen meg lehet-e találni vagy az egyértelmű válaszok az elfogadott (nem vitatott) értelmezés vagy a bázistudás lexikális részéhez tartozó tudáselemekből logikus következtetés eredményeként váltak a jogi tudás strukturált részévé, de így az egyszerű kereséssel nem feltétlenül elérhetőek a szövegmodell számára.[49]

Végezetül meg kell említeni még azt a szempontot is, hogy a tesztben többféle különböző típusú kérdést is kívántunk alkalmazni, ekként az igaz-hamis, a feleltválasztós, a "fill-the-blank" és a párosítós kérdéstípusokat alkalmaztuk. Ennek indoka az volt, hogy azt is meg kívántuk vizsgálni, hogy van-e különbség a nyelvi modell felhasználását érintően az eltérő kérdéstípusokra keresett válaszoknál. Az igaz-hamis kérdések megválaszolása általában egyszerű. Kivételnek tekinthetőek azok az igaz-hamis kérdések, amelyek tagadást vagy negatív megállapítást tartalmaznak, ezek közepes nehézségűek vagy kifejezetten nehezek a hiányról való tudás jellege miatt (ti. bonyolultabb kiválasztani azt, ami nem tartozik oda, ha azt tanultuk, ami odatartozik). Hasonlóan közepes nehézségűek azok az igaz-hamis kérdések, amelyekben a megállapítás valamely logikai művelet eredménye.[50] A feleletválasztós kérdéseknél is igaz az, hogy a legegyszerűbbek a pozitív kiválasztást igénylő kérdések[51], és mélyebb tudást (és okosabb keresést) igényelnek a tagadást vagy hiányt tartalmazó kérdések. A "fill-the-blank" típusú kérdések akkor egyszerűek, illetve feltételezésünk szerint akkor válaszolhatók meg könnyen a kísérletben használt modellel, ha közvetlenül kérdeznek rá valamely definíciós elemre, közepes nehézségűek akkor, ha valamely leírás felől közelítjük meg a tudáselemet és fel kell ismerni vagy be kell azonosítani a fogalmat, amit aztán megoldásként be kell írni. A párosítós feladatokat az egyszerű kategóriába soroltuk.

7. Eredmények a limitációkkal

7.1. Minta szerkezetének és összetételének leírása

A normára hivatkozott tesztben, amely a kutatás fő mérési fázisa, 304 hallgató vett részt. A kontrollcsoportban 135, a kísérleti csoportban pedig összesen 169 tanuló teljesít-

- 173/174 -

ménye került mérésre (lásd 3. táblázat). Habár eredetileg egyenlő méretű vizsgálati csoportokat képeztünk, a jelentkezők minden vizsgált tudományterület esetén nagyobb hajlandóságot mutattak a kutatás egészében való részvételre, ha a kísérleti csoportba kerültek besorolásra. Emellett a kontrollcsoport nagyságát tovább csökkentette az is, hogy a vizsga során 15 résztvevő a csoportszabályzat ellenére alkalmazta a ChatGPT-t. Ezek a hallgatók utólag átsorolásra kerültek a kísérleti csoport megfelelő mintarétegeibe.

3. sz. táblázat

A mintaméret megoszlása osztályonként

Forrás: saját szerkesztés

A kutatásban résztvevő hallgatók 7 magyarországi egyetem 14 különböző szakjáról származnak, amely lehetővé teszi, hogy heterogénebb, a sokaságot jobban leíró mintán lehessen elvégezni a beavatkozást. Fontos azonban kiemelni, hogy a minta nem tekinthető reprezentatívnak az egyetemi képzések és intézmények országos eloszlására. Ezen változók mintabeli megoszlása eltér a nemzeti felsőoktatási arányoktól, ezért az eredményeket ennek fényében kell értelmezni. Feltételezhető, hogy a különböző egyetemekről megfigyelt hallgatók eltérő szintű területspecifikus tudással és feladatvégzési kultúrával is rendelkeznek. Ezért lényeges lehet az eredményesség és hatékonyság vizsgálatakor az összetétel-hatás méretére való becslés szolgáltatása is.

7.1.1. Demográfiai jellemzők

A minta egészét nézve a nemek közötti arány kiegyensúlyozottnak tekinthető, azonban a különböző tudományterületeken jelentős eltérések mutatkoznak. Amíg az informatikai teszt esetén a résztvevők 66%-a férfi, addig a jogi területen a női hallgatók képviselik a tesztet írók 66%-át, valamint a kommunikációs hallgatói réteg esetén a női résztvevők aránya eléri a 80%-ot.

A kutatásban résztvevő hallgatók többsége a húszas éveik elején járó fiatal felnőtt, a mintában vizsgált személyek átlagos életkora 21,4 év volt az adatrögzítés idején.

- 174/175 -

1. sz. ábra

A felsőoktatási tapasztalat megoszlása teszttípusonként

Forrás: saját szerkesztés

7.1.2. Felsőoktatási tapasztalat

A kutatás szempontjából a legrelevánsabb demográfiai jellemző a felsőoktatásban megkezdett szemeszterek száma. Az adatok szerint a résztvevők 50%-a három és hét szemeszter közötti felsőoktatási tapasztalattal rendelkezett, míg 25%-uk több mint hét szemeszter óta tanul valamilyen felsőoktatási intézményben. Ezek alapján megállapítható, hogy a kutatás jellemzően a képzésük középső részén járó vagy végéhez közeledő hallgatók körében méri a ChatGPT használatának lehetőségeit és hatásait. A felsőoktatási tapasztalat teszttípusonkénti felbontása megmutatja, hogy az egyes tesztek eltérő szinten lévő tanulókat mérnek (lásd 1. ábra). A felsőoktatásban töltött szemeszterek száma átlagosan az informatikai mintaréteg esetén volt a legmagasabb, míg a kommunikációtudományi mintaréteg esetén a legalacsonyabb.

A ChatGPT használata

A kutatás során elengedhetetlennek tartottuk, hogy képet nyerhessünk, hogy a normára hivatkozott teszt során a kísérleti csoport tagjai mekkora arányban és milyen intenzitással használják a mesterséges intelligenciát a vizsga feladatok megoldásához. Emellett szükségesnek ítéltük feltárni a résztvevők tanulmányi célú ChatGPT használattal kapcsolatos attitűdjét. A tanulmányi célú MI felhasználás mérése nem csak a hallgatók szokásainak jobb megértése és az egyes rétegek közötti különbségek feltárásának érdekében

- 175/176 -

volt lényeges. Segítségével viszonyítás kapható a kompetenciateszt során bevallott és a normára hivatkozott teszt során mért MI használat eltérésének mértékéről. Ezáltal validálni lehetett a mérések reprezentativitását a mindennapos tanulmányi célú MI használatára nézve. Fontos hangsúlyozni ugyanis, hogy a kísérleti csoport tagjai számára lehetőség és nem kötelesség volt az MI használata. A kutatás résztvevői mint korlátozott racionalitással rendelkező egyének döntöttek a technológia használata mellett vagy ellen a saját hasznossági függvényük, tapasztalatuk és elfogultságuk szintézise alapján.

7.2.1. Bevallott tanulmányi célú ChatGPT használat

A hallgatók kérdőívezése alapján elmondható (lásd 2. ábra), hogy az informatikai mintarétegbe sorolt hallgatók esetén a legvalószínűbb a ChatGPT használata beadandók készítésére. Közel 70%-uk mondta inkább valószínűnek vagy nagyon valószínűnek a technológia alkalmazását. Emellett az elutasító válaszlehetőségeket is messze ezen réteg tagjai jelölték meg a legkisebb arányban. Ami a kommunikációs és jogi terület alanyait illeti, a ChatGPT használati hajlandóságuk a legtöbb választási lehetőség esetén elég hasonlóan alakult. A legnagyobb különbség közöttük a két szélső opció esetén mutatkozik, ahol a kommunikációtudományi hallgatók nagyobb valószínűséget mondanak az MI használata mellett. Összességében megállapítható, hogy amíg az informatikai terület tagjai inkább hajlamosak a ChatGPT tanulmányi célú alkalmazására, addig a másik két teszt esetén a hallgatók inkább semlegesek vagy elutasítóak.

2. sz. ábra

A ChatGPT használatának valószínűsége egyetemi beadandó munka készítéséhez teszttípusonként

Forrás: saját szerkesztés

- 176/177 -

A ChatGPT válaszaiba vetett bizalom megoszlásával kapcsolatban hasonló tendenciák figyelhetőek meg (lásd 3. ábra), mint ahogy a felhasználás valószínűségénél lett kimutatva. Amíg az informatikai réteg hallgatói bíznak meg leginkább a MI válaszaiban, addig a jogi réteg hallgatói a leginkább szkeptikusabbak az egyes válaszok pontosságával kapcsolatban. Lényeges azonban észrevenni, hogy bár az informatikai mintaréteg hallgatóira az MI használata inkább jellemző, a válaszok minőségével kapcsolatban a vizsgált hallgatók már kevésbé optimisták. A válaszadók 29%-a kevésbé tartja megbízhatónak a promtokra adott válaszokat, és összesen csak 13,61% bízik meg nagymértékben vagy teljesen a ChatGPT tanácsaiban.

3. sz. ábra

A ChatGPT válaszaiba vetett bizalom megoszlása teszttípusonként

Forrás: saját szerkesztés

7.2.2. Használati arányok a teszt során

A kutatáshoz fejlesztett böngésző kiegészítő segítségével a tanulmány résztvevőinek 84,5%-a, azaz összesen 257 hallgató böngészési tevékenységét követtük nyomon a normára hivatkozott teszt intervalluma alatt. A kísérleti csoport 164 hallgatója közül 145 telepítette az ExamEye-t a számítógépére, közülük 70-en döntöttek a ChatGPT használata mellett a vizsga során. Feltételezve, hogy a speciális adatrögzítésben részt nem vevő hallgatók hasonló arányban használták az MI-t, a kísérleti csoport egészére nézve 48,3% azoknak az aránya, akik legalább egy promptot írtak a teszt alatt. A ChatGPT használa-

- 177/178 -

tában jelentős különbségek voltak az egyes teszttípusok között (lásd 4. ábra): az informatikai rétegnél a hallgatók 65%-a legalább egyszer használta a chat modellt, míg a kommunikációs tesztben 27%, és a jogi mintarétegnél mindössze 21% alkalmazta a GPT-t.

4. sz. ábra

A ChatGPT-t használók aránya a kísérleti csoportban a teszt során

Forrás: saját szerkesztés

Lényeges, hogy a mért használati arányok nagymértékben lekövetik mind a három mintaréteg esetén az előzetesen bevallott tanulmányi célú használat valószínűségét. Az informatikai teszt esetén 69%, a kommunikációs esetén 25%, a jogi réteg esetén pedig 19% mondta előzetesen, hogy inkább valószínűnek vagy nagyon valószínűnek tartja a ChatGPT használatát egyetemi beadandó feladatok készítésekor. Ez alapján a kutatás során alkalmazott különböző tesztek képesek voltak reprodukálni a mintára jellemző mindennapos, tanulmányi célú MI használati arányokat.

7.3. Eredményeség és hatékonyság változóinak bemutatása

A hallgatók eredményességét a normára hivatkozott teszt százalékos eredményében (percentage változó), hatékonyságát pedig a tesztírással töltött másodpercben számított

- 178/179 -

idejében (test_interval_s változó) mértük. A függő változók értékének alakulását két okból is lényeges együtt vizsgálni: egyrészt, a kutatási hipotézis szempontjából kulcsfontosságú annak megértése, hogy a ChatGPT használatának lehetősége mellett hogyan változott a hallgatók teszteredménye és tesztideje; másrészt becslést tudjunk adni az egyes mintaosztályok figyelmének szintjére annak nyomonkövetésével, hogy az elért eredményekhez átlagosan mennyi idő kellett. Hiszen az egyes minta szegmensek közötti eltérések mértékét befolyásolni tudta az osztályonként eltérő átlagos figyelem.

4. sz. táblázat

A kontroll csoport eredményének leíró statisztikai táblázata

Forrás: saját szerkesztés

5. sz. ábra

A függő változók eloszlása a kontroll csoportban

Forrás: saját szerkesztés

A kontroll csoport egészét nézve (lásd 4. táblázat és 5. ábra), amelynek eredménye a teszt normájának számít, a várható százalékos eredmény 51,89% volt 14,64%-pontos szórással. A hallgatók középső 50%-a 21 és 45 perc között oldotta meg az egy óra hosszúra tervezett feladatsort. Azonban az eredmények tárgyalása során a továbbiakban rétegekre (teszttípusokra) bontva értelmezzük a kísérleti és kontroll csoport közötti eltéréseket[52].

- 179/180 -

Az eredményességet és hatékonyságot mérő mutatók rétegenkénti bontása megmutatja (lásd 5. táblázat), hogy az egyes teszttípusok esetén mennyire eltérő eredmények születtek. Az informatikai teszt esetén volt a legmagasabb a teszt várható normatív eredménye, amely10%-ponttal magasabb lett a jogi és kommunikációs hallgatók eredményénél.

5. sz. táblázat

A kontroll csoport eredményei rétegenkénti bontásban

Forrás: saját szerkesztés

7.4. Böngészőhasználati különbségek

7.4.1. A böngészőhasználat és a tesztidő kapcsolata

Az eredményesség és hatékonyság változásának vizsgálatakor megfigyeltük, hogy a kísérleti csoport tesztideje minden réteg esetében átlagosan rövidebb lett. A hallgatók internethasználatának rögzítése alapján arra a következtetésre jutottunk, hogy a tesztidők javulása a beavatkozás hatására megváltozó böngészőhasználatnak tulajdonítható. A ChatGPT nemcsak egy helyen biztosít ismereteket, hanem radikálisan megváltoztatja az információkeresés és -feldolgozás folyamatát, valamint az emberek hozzáállását a hagyományos keresési csatornák használatához.

A vizsga kialakításakor hangsúlyt fektettünk az open book jellegre, ami elengedhetetlen volt a jogászképzés célkitűzéseinek megfelelően. A tesztek során nem csupán a hallgatók meglévő tudásának mérését tartottuk szem előtt, hanem különösen fontos volt a jogi problémák megoldására irányuló képességeik tesztelése. Ennek megfelelően a tesztek úgy lettek összeállítva, hogy a vizsgázóknak jelentős mértékben kellett támaszkodniuk külső forrásokra. Ez a megközelítés nemcsak a jogi tudásukat mérette meg, hanem a jogi gondolkodásmódot és logikai műveletek alkalmazását is előtérbe helyezte, összhangban a jogászképzés kulcsfontosságú tanulási eredményeivel. Ezért a módszertan egyik alapvető eleme, hogy a tesztalanyoknak nagyban kelljen támaszkodniuk külső források segítségére. Ezt hangsúlyozni azért fontos, mert a résztvevők tesztidejük jelentős részét a kérdések helyes megválaszolásához szükséges információk keresésével és szintetizálásával töltötték.

- 180/181 -

7.4.2. Böngészési idő és keresési szám megváltozása

A kutatás logikailag három kategóriába sorolta a hallgatók által meglátogatható oldalak típusát: különbséget tettünk az alap weboldalak, a keresőoldalak (Google és Yahoo), valamint a ChatGPT oldala között. Annak érdekében, hogy pontos becslést adhassunk arról, mennyi időt töltenek a résztvevők az egyes oldalakon figyelemmel, két időintervallumot mértünk. Az ExamEye[53] segítségével rögzítettük, hogy az egyes weboldalak menynyi ideig voltak fókuszban, illetve aktív állapotban. A fókusz állapot azt jelzi, amikor a felhasználói műveletek közvetlenül az oldalra vagy annak valamelyik elemére irányulnak; az aktív állapot pedig azt, amikor az oldal fókuszban van, vagy legalább nincs elrejtve a képernyőn[54]. A fókusz és aktív idő mérése révén meghatározható volt, hogy a hallgatók az egyes csatornákon milyen figyelmi szinten - fókusz esetén szinte kizárólagosan, aktív esetén megosztott figyelemmel - és mennyi időt töltöttek átlagosan a vizsga ideje alatt.

6. sz. ábra

Résztvevőnkénti átlagos böngészési idő tesztcsoportonkénti bontásban

Forrás: saját szerkesztés.

A kísérlet során nemcsak a várható tesztidő, hanem a hozzátartozó böngészési idő is rövidebb lett a beavatkozás hatására minden mintaréteg esetében (lásd 6. ábra). Az adatrögzítés alapján az informatikai teszt írói töltötték a legtöbb időt böngészéssel a vizsga során. A kontrollcsoport hallgatói 16-21 percet, míg a kísérleti csoport tagjai 8-11 percet tartózkodtak a vizsga felületén kívül más weboldalon. A jogi és kommunikációs tesztek

- 181/182 -

esetében a kontrollcsoportok internethasználata hasonló, körülbelül 9-13 perces tartományba esik, azonban a kommunikációs teszt kontrollcsoportja feltűnően a legkevesebbet böngészett a felmérés során.

A böngészési idők keresési csatorna szerinti megoszlását tekintve, a kontrollcsoport minden rétegében a hallgatók az alap weboldalakon töltötték a legtöbb időt. Az időráfordítás alapján ezek az oldalak voltak az információszerzés elsődleges forrásai, ugyanakkor a figyelem viszonylag nagy hányadban megosztott volt a széles aktív-fókusz időkülönbség miatt. Habár a kontrollcsoportban domináns volt az alap weboldalakon töltött idő, a letöltések számát tekintve minden rétegben közel kétszer annyi keresőoldalt látogattak meg a hallgatók, mint konkrét céloldalt (lásd 7. ábra). Ez is mutatja, hogy a keresőoldalak szerepe ma már messze túlmutat a céloldalak keresésén. A keresők által adott szövegrészletek és összefoglalók számos esetben elegendőek a felhasználók számára. Ez a megközelítés megteremti a közvetlen forrásolvasástól elszakadó, a ChatGPT és egyéb nagy nyelvi modellek által továbbfejlesztett információszerzés és feldolgozás szokását.

A kísérleti csoportban nemcsak az átlagos böngészési idő csökken, hanem a ChatGPT megjelenésével az egyes csatornák látogatásának száma és az azokon töltött idő eloszlása is megváltozik. A leglátványosabb különbség az informatikai teszt esetében figyelhető meg a két csoport között, ahol a ChatGPT-t használók aránya is a legmagasabb volt a többi teszttípushoz képest. Kimagaslik mind a promptok átlagos száma, mind a chat platformon töltött idő az alap és kereső oldalak használatához képest. A keresőoldalak szerepe láthatóan átértékelődik: a keresések nagyobb eséllyel konvertálódnak oldalmegnyitássá, ahelyett, hogy a találatokból kiemelt részleteket olvasnák a hallgatók. A ChatGPT a megfigyeléseink alapján magas használati (elfogadási) arány mellett a tradicionális csatornák helyettesítőjévé válik: nemcsak a keresőket, hanem céloldalakat is megpróbálja pótolni a felhasználók számára.

7. sz. ábra

Résztvevőnkénti átlagos keresési szám mintacsoportonként

Forrás: saját szerkesztés.

- 182/183 -

A jogi és kommunikációs rétegeknél, ahol a kísérleti csoportban a ChatGPT-t használók aránya 30% alatt volt, egy másik fontos jelenséget figyeltünk meg: a böngészési aktivitás csökkenése - az informatikai teszthez hasonló, vagy akár azt meghaladó mértékben - anélkül következett be, hogy a MI használata elterjedt volna a kísérleti csoport ezen osztályaiban. Fontos megjegyezni, hogy a fenti ábrán bemutatott átlagos prompt szám a kísérleti csoport adott osztályának összes tagjára vonatkozik, nem pedig az osztályon belüli tényleges felhasználókra. A böngészési aktivitás csökkenését három tényező együttes hatásával magyarázzuk:

A ChatGPT használata csökkenti a szükséges keresések számát, mivel kevesebb oldal letöltése mellett is képes a felhasználó megtalálni a szükséges információkat.

Egyrészt a vizsgált hallgatók kereséseinek többsége a chat platformon keresztül történt: a kommunikációs teszt esetében a letöltések átlagosan 77%-a, az informatikai teszt esetében 73%-a, a jogi teszt esetében pedig 50%-a származott a ChatGPT felületéről. Másrészt az adatrögzítés alapján a ChatGPT-t használó résztvevők teszttípusonként kevesebb alkalommal használtak bármilyen külső forrást, mivel intenzíven alkalmazták a mesterséges intelligenciát.

A ChatGPT használatának lehetősége - elsősorban kényelmi okokból - csökkenti a hagyományos információs csatornák használatának hajlandóságát, még akkor is, ha a felhasználó végül nem dönt a Mi használata mellett.

A kiváltó ok az lehet, hogy a hallgatók úgy ítélték meg, hogy a feladatok teljesítésére nem alkalmas az MI, de a GPT használat lehetősége mellett nem tartották kényelmesnek a hagyományos csatornák alkalmazását. Ezt a feltételezést leginkább a jogi réteg esetében mért közepes nagyságú visszaesés támasztja alá. Ennek igazolásához azonban további kutatások szükségesek.

A kísérleti csoport számos hallgatója félreértette a csoportszabályzat lényegét, és úgy értelmezte, hogy az open-book teszt során a ChatGPT-n kívül más külső forrást nem használhat.

Az adatgyűjtésből kiderül, hogy a kísérleti csoport ChatGPT-t nem használó hallgatóinak 61%-a egyetlen alkalommal sem keresett információt az interneten, míg a kontrollcsoport tagjai különböző teszttípusonként átlagosan közel ugyanannyit böngésztek, összességében és az egyes csatornákon egyaránt.

7.5. Eltérések szignifikanciájának vizsgálata

A kutatási hipotézis szerint a kísérleti csoport hallgatóinak átlagos eredménye - szignifikánsan jobb tesztidő mellett - rétegenként megegyezik a kontroll csoportéval, azaz a ChatGPT használata a hatékonyság oldalán fejti ki a hatását. Ahhoz, hogy a látott eltérésekről meg lehessen állapítani, hogy szignifikánsak, azaz nem a véletlen mintavételnek az eredménye, hanem a tapasztalt különbségek hasonló összetételű sokaságok esetén is igazak, szükséges, hogy a hipotézis vizsgálat eszközeivel is górcső alá vegyük az egyes mintaosztályokat. Ugyanis objektív statisztikai próbák nélkül a látott eltérések alapján könnyedén a megerősítési torzítás hibájába eshetünk.[55]

- 183/184 -

Azért, hogy a kutatási hipotézisről dönteni lehessen, rétegenként megvizsgáltuk a kísérleti és kontroll csoport esetén a százalékos teszteredmény és a tesztidő változók várható értéke (számtani átlaga) közötti különbségeket. A hipotézis vizsgálat első lépése, hogy a feltételezésünkhöz megfelelő null és alternatív hipotézist állítsunk. Azon állításunkat, hogy a kísérleti csoport eredménye a ChatGPT használatának lehetősége mellett a kontroll csoportéval megegyezik, részben átfedő alternatív hipotézisekkel párba állítva teszteltük (lásd 6. táblázat).

6. sz. táblázat

A teszt eredmények vizsgálatára vonatkozó alternatív hipotézisek

Forrás: saját szerkesztés.

Lényegesnek tartottuk, hogy részben átfedő alternatív hipotézisű próbákat futtassunk a null hipotézisre, mivel az egyoldali tesztek magasabb próba erővel rendelkeznek, mint a kétoldali alternatívájúak azonos szintű megengedett elsőfajú hiba mellett[56]. Így a két statisztikai próba p-értéke alapján pontosabban tudunk nyilatkozni a Ho-val kapcsolatban.

A kutatási hipotézis azon feltevését, hogy a kísérleti csoport a ChatGPT használatának lehetősége mellett szignifikánsan rövidebb tesztidővel tudja teljesíteni a vizsgát szintén két alternatív hipotézis segítségével teszteltük (lásd 7. táblázat). Ezáltal is csökkentve a másodfajú hiba bekövetkezésének lehetőségét, azaz, hogy minél kisebb valószínűséggel fogadjunk el hamis null hipotézist[57]. Ugyanakkor lehetőségünk legyen a szignifikancia határán levő eltérésekről irány semleges p-értékkel is nyilatkozni.

- 184/185 -

7. sz. táblázat

A tesztidők vizsgálatára vonatkozó alternatív hipotézisek táblázata

Forrás: saját szerkesztés.

7.5.1. Teszteredmények eltérésére vonatkozó próbák eredménye

8. sz. táblázat

A várható százalékos teszt eredmények eltérésére vonatkozó próbák eredményének táblázata

Forrás: saját szerkesztés.

A statisztikai próbák eredményei alapján elmondható (lásd 8. táblázat), hogy 5%-os szignifikanciaszint mellett sem az informatikai, sem a jogi tesztek esetében nem szignifikáns a kísérleti és kontrollcsoport között mért eltérés a vizsgák várható eredménye szempontjából. Ezt mind a kétoldali, mind az egyoldali alternatívájú hipotézisvizsgálatok p-értékei alátámasztják. Ez alapján az egyes mintaosztályok várható teszteredményei közötti különbségeket a véletlen mintavétel hatásaként értékeljük, és nagy valószínűséggel kijelenthető, hogy az eredmények romlása nem a beavatkozás következménye az informatikai és jogi vizsgát írók esetében.

A kommunikációs teszt esetében az eltérés irányára nézve specifikus, erősebb (egyoldali) próba szignifikáns különbséget mutatott a várható értékek között. Ugyanakkor a kétoldali t-teszt 5,23%-os p-értéke csak közel szignifikáns eltérést jelzett. Ezért az erősebb próba eredménye alapján elutasítottuk a nullhipotézist, miszerint a kommunikációs réteg kísérleti csoportja a kontrollcsoporttal megegyező eredményt érne el. Tekintettel

- 185/186 -

azonban a p-értékek ellentmondásosságára, javasoljuk a kísérlet megismétlését nagyobb mintaméret mellett ennél a teszttípusnál.

7.5.2. Tesztidők eltérésére vonatkozó próbák eredménye

9. sz. táblázat

A másodpercben mért várható tesztidők eltérésére vonatkozó próbák eredményének táblázata

Forrás: saját szerkesztés.

A tesztidők eltérésének szignifikanciáját vizsgálva (lásd 9. táblázat), a jogi teszt esetében a kísérleti csoport átlagos tesztideje 2,5 perccel rövidebb volt a kontrollcsoporténál, azonban ez az eltérés egyik alternatív hipotézis szerint sem bizonyult statisztikailag szignifikánsnak.

A kommunikációs teszt esetében az egyoldali hipotézisvizsgálat a kísérleti csoport várható tesztidejének csökkenését 4,77%-os p-érték mellett szignifikánsnak találta 5%-os szignifikanciaszint mellett. Mindazonáltal, a várható tesztidők közötti különbséget nem tekintjük szignifikánsnak, mivel a kísérleti csoport böngészési aktivitása indokolatlanul csökkent, ami valószínűleg a kutatási szabályok félreértésének következménye. Az adott mintában a ChatGPT-t nem használó hallgatók 72%-a nem használt semmilyen más külső forrást, mivel feltételezték, hogy a kísérleti csoport csak a MI segítségét veheti igénybe. Ezért, bár a p-érték szignifikáns volt, úgy véljük, hogy a kísérleti csoport gyorsulását mintavételi hiba torzította, és nem tudjuk kellő bizonyossággal kizárni, hogy a különbség véletlenszerű, így a nullhipotézist elfogadtuk.

Az informatikai teszt esetében a kísérleti csoport idejének csökkenése egyértelműen bizonyított: mind az egyoldali, mind a kétoldali hipotézisvizsgálatok p-értékei minden szokásos szignifikanciaszintnél alacsonyabbak voltak. Ennek alapján elutasítottuk a nullhipotézist és elfogadtuk az alternatív hipotézist, miszerint az informatikai minta esetében a kísérleti csoport hallgatói statisztikailag szignifikáns mértékben rövidebb tesztidővel dolgoztak, ami nem magyarázható pusztán a véletlen mintavétellel.

A másik két minta tesztidejének eltéréseit illetően a szignifikancia hiánya nem zárja ki, hogy a ChatGPT használatának lehetősége csökkentette a kísérleti csoport hallgatóinak átlagos idejét. Azonban hasonló összetételű sokaság esetében nem állítható, hogy a megfigyelt eltérések fennmaradnának, ezért a kommunikációs és jogi teszteknél a tesztidők csökkenése nem általánosítható.

- 186/187 -

7.6. Hatásnagyság és szignifikancia

Az előző alfejezetben feltárt szignifikáns eltérések után a beavatkozás hatásnagyságának elemzése következik. A szignifikancia vizsgálata fontos, de korlátai vannak: nem mutatja meg a beavatkozás hatásának mértékét, csak azt, hogy az eltérés mennyire valószínű, hogy a véletlen mintavétel eredménye. Ezzel szemben a hatásnagyság méri az eltérések nagyságát, és azt mutatja, hogy a beavatkozás milyen mértékben változtatja meg a kísérleti csoport várható értékét a kontrollcsoportéhoz képest[58]. Kis mintaméret esetén nagy hatásnagyságú eltérések is inszignifikánsak lehetnek, míg nagy mintaméret esetén kis hatásnagyságú eltérések is szignifikánssá válhatnak[59]. Ezért a szignifikancia és hatásnagyság együttes értelmezése segít a változások pontosabb megértésében és a kísérlet eredményeinek összehasonlíthatóságában[60].

A 9. ábra a teszteredmény és tesztidő esetén mért standardizált hatásnagyságot (Cohen-féle d) és szignifikanciát szemlélteti az egyes mintarétegek esetén. Minden teszttípusnál a réteg neve alatt szerepel a kontrollcsoport (n1) és a kísérleti csoport (n2) mérete.

8. sz ábra

Hatásnagyság és szignifikancia ábrázolása (saját szerkesztés)

Forrás: saját szerkesztés.

- 187/188 -

Az informatika réteg esetén a ChatGPT használata nagy mintaméret mellett kis hatásnagyságú és inszignifikáns változást eredményezett a hallgatók eredményében, viszont a kísérleti csoport szignifikánsan gyorsabban végezte el a tesztet, közel nagy hatásnagyság mellett. Ez alátámasztja, hogy a tesztidő és a beavatkozás hatása között szoros kapcsolat van, ami támogatja a kutatási hipotézist.

A jogi rétegben a beavatkozás hatása mindkét függő változónál gyenge és inszignifikáns volt, így a kutatási hipotézis ebben az esetben nem áll meg hasonló összetételű sokaságra vonatkozóan.

A kommunikációs tesztnél a kísérleti és kontrollcsoport közepes hatást gyakorolt a függő változókra, de a mintavételi hiba jelentős mértékben magyarázhatja az eltéréseket. Csak a teszteredmény különbségét ítéltük szignifikánsnak az alacsony p-érték és a magas hatásnagyság alapján. A szignifikáns romlást a kritikus felhasználói magatartás hiánya és az MI pontatlan válaszai okozhatták.

Az informatika tesztnél a ChatGPT használata inszignifikánsan és alacsony hatásnagysággal növelte az eredményességet, de a hatékonyság szignifikáns volt közepes hatásnagyság mellett. A jogi és kommunikációs teszteknél a kis mintaméret miatt a nagy hatásnagyság ellenére sem találtak szignifikáns eltéréseket.

A területspecifikus tudással nem rendelkező hallgatók esetében a ChatGPT használatának lehetősége közepes hatásnagyság mellett eredményesebb és hatékonyabb teljesítményt eredményezett a kontrollcsoporthoz képest, de az alacsony mintaméret miatt az U-teszt nem találta szignifikánsnak az eltéréseket.

8. (Hortatio) Ajánlások és jövőbeli kutatási irányok esetleges felvázolása

A kutatás fontos mérföldkőnek tekintendő a nagy nyelvi modellek oktatási célú (és tanulási) használatának jellemzőit érintően. Eredményeink elgondolkoztatóak és jó alapot szolgáltatnak esetleges beavatkozásokhoz, és nem utolsósorban további kutatások folytatásához.

A ChatGPT 2022 novemberi megjelenése és sikere egyértelművé tette, hogy a MI jelentős szerepet fog játszani az oktatásban. A diákok többsége, akiket "digitális bennszülöttekként" tartunk számon, az információs korszakban nőtt fel, szoros kapcsolatban állva a technológiával[61]. Számukra alapvető, hogy naprakészen kövessék az új technológiai trendeket és kihasználják a MI nyújtotta lehetőségeket. Az oktatási intézmények feladata, hogy kíváncsi, változásra fogékony hallgatókat neveljenek. Az információs korszakban bekövetkező gyors ütemű változásokhoz a szakembereknek progresszíven kell alkalmazkodniuk. A megszerzett lexikális tudás gyorsan elavulhat, ezért a diákoknak fel kell ismerniük, hogy boldogulásukhoz nem lesz elegendő a tanulmányaik során megszerzett tudásanyag. A MI használatának teljes tiltása nem szünteti meg a jelenséget, hiszen

- 188/189 -

a diákok az iskolán kívül is találkozhatnak vele, és elengedhetetlen, hogy felkészülten nézzenek szembe az új kihívásokkal[62].

A MI oktatásba való integrálása szükségessé teszi számos oktatási folyamat, tanterv és tananyag megváltoztatását. Kiemelendő, hogy az Ml-t úgy kell beiktatni a hallgatók tanulmányi életébe, hogy az a kritikus gondolkodásukat fejlessze. Ugyanakkor az MI könnyű használhatósága miatt fennáll a veszélye, hogy helyettesíti a tanulást és az önálló gyakorlati tapasztalatok megszerzését. Fontos hangsúlyozni, hogy a diákokat arra kell nevelni, hogy a ChatGPT nem mentorként szolgál, és a chatbot által generált szöveget kritikusan kell szemlélniük. A MI egy kollaborációs eszköz, amelyet a hallgatóknak ki kell ismerniük mint bármely más technológiát[63].

Az oktatóknak rendelkezniük kell azokkal a tudással és készségekkel, amelyekkel elvezetik diákjaikat a generatív MI produktív és kritikus használatához[64]. Ez megköveteli a tanároktól, hogy nyílt és őszinte beszélgetéseket folytassanak a diákokkal a generatív MI használatáról, valamint a megfelelő használatot támogató irányelvekről és kockázatokról[65]. Fontos, hogy a ChatGPT bemutatása során hangsúlyozzák a chatbot hallucinációra való hajlamát, és a diákok megértsék, hogy a ChatGPT egy segédeszköz, amely nem helyettesíti a saját képességeiket.

Az itt képviselt álláspont szerint a nagy nyelvi modellek megismerése és esetleges használata nemhogy elkerülhetetlen, de kifejezetten ajánlatos is a felsőoktatásban, így az egyetemi jogászképzésben is, figyelemmel a fentebb is említett legal-tech penetrációra.[66] Meggyőzőnek tekintjük azt az álláspontot, amely nem tekinti plágiumnak a generatív modellek használatát. Más kérdés azonban, hogy amennyiben szöveggenerálás mint szakmai

- 189/190 -

készség és képesség elsajátítása az oktatásban elérendő konkrét tanulási eredmény, akkor értelemszerűen a generatív modellek használatát korlátozni kell ezekre a konkrét feladatokra. Ez a helyzet fennállhat a jogászképzésben, hiszen az okiratszerkesztések, a jogi szakvélemények elkészítése, jogesetmegoldási érvelések, a szabályozási modellek szövegszerű kialakítása tananyagot képezhet. Amíg a fejszámolást akarjuk megtanítani a gyerekeknek, addig nem adunk a kezükbe számológépet.

Másfelől azonban a helyes egyensúlyt is meg kell találni, figyelemmel a generatív modellek markáns korlátaira is, amelyek az oktatási keretrendszerben kifejezetten hátrányosak lehetnek. Különösen ilyen az, hogy e modellek a plurális narratívákat leszűkítik a domináns (átlagos) nézőpontokra, és azokat erősítik narratívákat képviselik és erősítik. Ahogy az UNESCO 2023-as útmutatój a[67] is helyesen rámutat, "a tudás ebből eredő homogenizálódása korlátozza a pluralista és kreatív gondolkodást." A tanárok és diákok függősége a válaszok szabványosításához és konformizmusához vezethet, és a "kifejezésmódokat is homogenizálja", ekként korlátozhatja a diákok képzelőerejét, alkotói kreativitását.

Summary - Nimród Mike - Krisztina Karsai - Gábor Orbán -Alexandra Bubelényi: "Enhancing Legal Education with AI: The Role of ChatGPT In Developing Critical Thinking Skills"

The introduction of ChatGPT by OpenAI in November 2022 has notably influenced both the academic sphere and everyday life, presenting significant implications for education. This study explores the effects of ChatGPT on the efficiency, effectiveness, and critical thinking abilities of university students. Focusing on a sample of 304 students from various academic fields in Hungary, the research employs an experimental design where participants are divided into a control group, using traditional browsing methods for open-book tests, and an experimental group, utilizing ChatGPT. The study examines differences in performance during complex professional tests, aiming to provide insights into the potential of AI in enhancing educational methodologies. Our results contribute to a better understanding of AI's role in education and suggest directions for future instructional strategies. The findings indicate that while ChatGPT can improve information retrieval efficiency, its impact on learning outcomes is nuanced and varies across different academic disciplines. This study highlights the importance of integrating AI tools like ChatGPT into educational settings in a manner that supports critical and reflective thinking skills among students. ■

JEGYZETEK

[1] Weizenbaum, Joseph: ELIZA-a Computer Program for the Study of Natural Language Communication Between Man and Machine. Communications of the ACM, 1966, 9(1), 36-45. pp. https://dl.acm.org/doi/10.1145/365153.365168 (Letöltés ideje: 2023. 08. 05.).

[2] Winograd, Shmuel: On the number of multiplications necessary to compute certain functions. Communications on Pure and Applied Mathematics, 1970, 23(2), 165-179. pp. https://doi.org/10.1002/cpa.3160230204

[3] Nelson, Daniel: What is Natural Language Processing? Unite.AI, 2024. https://www.unite.ai/what-is-natural-language-processing/ (Letöltés ideje: 2023. 08. 06.).

[4] Margaret G. Mckeown: The Acquisition of Word Meaning from Context by Children of High and Low Ability, 1985. 482. p.

[5] Galassi, Ugo - Giordana, Attilio - Saitta, Lorenza: Incremental Construction of Structured HiddenMarkov Models. IJCAI, 1998. https://www.ijcai.org/Proceedings/07/Abstracts/128.html. (Letöltés ideje: 2023. 08. 06.).

[6] Kupiec, Julian: Robust part-of-speech tagging using a hidden Markov model. Computer Speech and Language, 1992, 6(3), 225-242. pp. https://doi.org/10.1016/0885-2308(92)90019-Z (Letöltés ideje: 2023. 08. 07.).

[7] https://www.arcanum.com/hu/online-kiadvanyok/Lexikonok-a-pallas-nagy-lexikona-2/b-26DA/beszedreszek-37A9/ (Letöltés ideje: 2023. 08. 07.).

[8] Love, Dylan: No One's Talking About The Amazing Chatbot That Passed The Turing Test 3 Years Ago. Business Insider, 2014. https://www.businessinsider.in/No-Ones-Talking-About-The-Amazing-Chatbot-That-Passed-The-Turing-Test-3-Years-Ago/articleshow/36452106.cms (Letöltés ideje: 2023. 08. 08.).

[9] Kumar, Kiran - Thakur, Gyanendra Singh M.: Advanced Applications of Neural Networks and Artificial Intelligence: A Review. International Journal of Information Technology and Computer Science, 2012, 4(6), 5768. pp. https://doi.org/10.5815/ijitcs.2012.06.08 (Letöltés ideje: 2023. 08. 08.).

[10] Hermans, Michiel - Schrauwen, Benjamin: Training and analyzing deep recurrent neural networks. Advances in Neural Information Processing Systems 26 (NIPS 2013), 2013, 190-198. pp. https://papers.nips.cc/paper/5166-training-and-analysing-deep-recurrent-neural-networks (Letöltés ideje: 2023. 08. 09.).

[11] Greengard, Samuel: Can AI learn to forget? Communications of the ACM, 2022, 65(4), 9-11. https://cacm.acm.org/news/can-ai-learn-to-forget/ (Letöltés ideje: 2023. 08. 09.).

[12] Langston, Jennifer: Microsoft announces new supercomputer, lays out vision for future AI work. Microsoft Blog, 2020. https://news.microsoft.com/source/features/ai/openai-azure-supercomputer/ (Letöltés ideje: 2023. 08. 12.).

[13] Roose, Kevin: The Brilliance and Weirdness of ChatGPT. The New York Times, 2022. https://www.nytimes.com/2022/12/05/technology/chatgpt-ai-twitter.html (Letöltés ideje: 2023. 08. 10.).

[14] Piper, Kelsey: ChatGPT has given everyone a glimpse at Al's astounding progress. Vox, 2022. https://www.vox.com/future-perfect/2022/12/15/23509128/chatgpt-openai-ai-artificial-intelligence-future (Letöltés ideje: 2023. 08. 11.).

[15] Hutson, Matthew: Robo-writers: the rise and risks of language-generating AI. Nature, 2021, 22-25. pp. https://doi.org/10.1038/d41586-021-00530-0 (Letöltés ideje: 2024. 01. 12.).

[16] Zhang, Min - Li, Juntao: A commentary of GPT-3 in MIT Technology Review 2021. Fundamental Research, 2021, 1(6). https://doi.org/10.1016/j.fmre.2021.11.011 (Letöltés ideje: 2024. 01. 12.).

[17] 73/2021. (VI. 30.) Korm. Rendelet a fogyasztó és vállalkozás közötti, az áruk adásvételére, valamint a digitális tartalom szolgáltatására és digitális szolgáltatások nyújtására irányuló szerződések részletes szabályairól, 11. § (1) bekezdés.

[18] Cingillioglu, Ilker: Detecting AI-generated essays: the ChatGPT challenge. The International Journal of Information and Learning Technology, 2023, 40(3), 259-268. pp. https://doi.org/10.1108/IJILT-03-2023-0043. (Letöltés ideje: 2024. 01. 12.).

[19] Ez különféle algoritmusokkal érhető el, például támogató vektorgépekkel (Support Vector Machine vagy SVM), döntési fákkal (Decision Tree vagy DF), véletlen erdővel (Random Forest vagy RF) és mély tanulási módszerekkel (Deep Learning vagy DL), beleértve a visszatérő neurális hálózatokat (Recurrent Neural Networks vagy RNN) és a konvolúciós neurális hálózatokat (Convolutional Neural Networks vagy CNN). Az MI által generált szöveg észlelésének másik módszere a szöveg nyelvi jellemzőin alapul, amelyek jelzik a gépi generálás jeleit. A módszer alapjáraton figyelembe veszi az írásjeleket, a szöveghosszúságot és az n-gramm gyakoriságot. További információkért lásd: Heikkilá, Melissa: How to spot AI-generated text. MIT Technology Review, 2022. https://www.technologyreview.com/2022/12/06/1064590/how-to-spot-ai-generated-text (Letöltés ideje: 2024. 01. 14.).

[20] Stokel-Walker, Chris: AI bot ChatGPT writes smart essays - should professors worry? Nature, 2022. https://doi.org/10.1038/d41586-022-04397-7. (Letöltés ideje: 2024. 01. 14.).

[21] Castelvecchi, Davide: Are ChatGPT and AlphaCode going to replace programmers? Nature, 2022. https://doi.org/10.1038/d41586-022-04383-z (Letöltés ideje: 2024. 01. 14.).

[22] Hale, Craig: ChatGPT is having a really bad impact on the environment. TechRadar, 2023.

[23] Elmore, Matthew: The hidden cost of ChatGPT: A Call for Greater Transparency. The American Journal of Bioethics, 2023, 23(10), 47-49. pp. https://doi.org/10.1080/15265161.2023.2250335 (Letöltés ideje: 2024. 01. 15.).

[24] Van Dis, Eva A. M. - Bollen, Johan - Zuidema, Willem - Van Rooij, Robert - Bockting, Claudia L.: ChatGPT: five priorities for research. Nature, 2023. 224-226. pp. https://doi.org/10.1038/d41586-023-00288-7

[25] Hutson, Matthew: Robo-writers: the rise and risks of language-generating AI. Nature, 2021, 22-25. https://doi.org/10.1038/d41586-021-00530-0. (Letöltés ideje: 2024. 01. 15.).

[26] Essel, Henry Barton - Vlachopoulos, Dimitris - Essuman, Albert Benjamin - Amankwa, John Opuni: ChatGPT effects on cognitive skills of undergraduate students: Receiving instant responses from AI-based conversational large language models (LLMs). Computers and Education: Artificial Intelligence, 2024. 6. https://doi.org/10.1016/j.caeai.2023.100198 (Letöltés ideje: 2024. 01. 15.).

[27] Choi, Jonathan H. - Monahan, Amy - Schwarcz, Daniel: Lawyering in the Age of Artificial Intelligence (November 7, 2023). 109 Minnesota Law Review (Forthcoming 2024), Minnesota Legal Studies Research Paper No. 23-31, http://dx.doi.org/10.2139/ssrn.4626276 (Letöltés ideje: 2024. 02. 12.).

[28] Ennek nem mond ellent az a tény, hogy GPT-4 sikeresen teljesítette az amerikai ügyvédi vizsgát. Ugyanis nem zárható ki, hogy a tanulóadatai között nem szerepelt a tesztben szereplő adat (sőt, az összes korábbi vizsgateszt megoldásokkal), illetve nem tudták többször reprodukálni az eredményt, csak egyszer. Valójában a tesztkérdésekből álló részt teljesítette, a vizsga egyéb elemeire nem futtatták (pl. okiratszerkesztésre). Lásd Mik, Eliza: Caveat Lector: Large Language Models in Legal Practice. The Chinese University of Hong Kong Faculty of Law Research Paper 2024/4. Rutgers Bus. L.R. 2 2024. 51-52. pp. (Letöltés ideje: 2024. 02. 12.).

[29] A jogászi munkában is már elterjedt az ún. legal prompt engineering ("súgótechnika"), amely a jogi kérdések hatékony megválaszolására, pontos jogi információk nyújtására és a különböző jogi feladatokban való segítségnyújtásra szolgáló promptok gondos kidolgozásának és optimalizálásának folyamata, s amely magában foglalja a helyes kérdések megtanulását és a súgók optimalizálását a lehető legjobb kimenetek elérése érdekében. Vö. https://juro.com/learn/legal-prompt-engineering (Letöltés ideje: 2024. 02. 12.).

[30] Ha azonban olyan generatív nyelvi modell használatáról van szó, amelyet csak jogi szövegekkel (ítéletekkel, akták anyaga, jogi tudományos közlemények, jogszabályszövegek, szerződések, szabályzatok stb.) tanítottak be, a hallucinálás kisebb fokú lehet. Erre nézve lásd a Harvey.ai nevű (jogi) generatív nyelvi modellt, amelyet kifejezetten jogi cégeknek fejlesztett az OpenAI, és amely a GPT-3 technológiát használja, de amelynek tanulóadatbázisaiba döntő mértékben a jogi szövegeket tettek.

[31] Hallucinálásnak nevezik a nyelvi modellek azon válaszait, amelyek nem felelnek meg a tényeknek, s amely válaszoknak az az oka, hogy a modell nem "érti" a nyelvet, a tényeket nem tudja megkülönböztetni a fikciótól, számára a fikciót tartalmazó szavak nem különböznek a tényeket közlő szavaktól - vagyis csak szintaktikai értelemben, illetve előfordulási gyakoriság szempontjából.

[32] Vagy éppen a jogász szakembert is, ahogy egy újsághír alapján ez kiderült 2023 nyarán: egy new yorki ügyvédi iroda a bírósági beadványában olyan precedensekre hivatkozott, amelyek egyszerűen nem léteztek, mert a ChatGPT találta ki a feltett kérdésekre válaszolva, azonban nem ellenőrizték azok helyességét. A konkrét ügyben fegyelmi eljárást indítottak a kérdéses irodával (és az ügyvédekkel) szemben, amely azzal védekezett, hogy nem ismerte a ChatGPT hallucinációs készségét. Lásd https://legal-tech-verzeichnis.de/legal-tech-nachrichten/new-yorker-anwaelte-nutzen-chatgpt-zur-juristischen-recherche-und-fliegen-auf/; https://www.forbes.com/sites/mollybohannon/2023/06/08/lawyer-used-chatgpt-in-court-and-cited-fake-cases-a-judge-is-considering-sanctions/?sh=6b14dd917c7f (Letöltés ideje: 2024. 02. 12.).

[33] "Míg az emberek csak korlátozottan képesek ésszerű magyarázatokat kigondolni, a gépi tanuló rendszerek képesek azt is megtanulni, hogy a Föld lapos és azt is, hogy gömbölyű. Csak valószínűségekkel operálnak, melyek idővel változnak." Chomsky, Noam - Roberts, Ian - Watumull, Jeffrey: AI Unravelled: The falsepromise of ChatGPT. New York Times, 2023. március 8.

[34] MIK 2024, 36. p.

[35] https://legal-tech-verzeichnis.de/fachartikel/chatgpt-prompts-fuer-anwaelte-und-anwaeltinnen-alles-wissenswerte-zum-juristischen-prompting/ (Letöltés ideje: 2024. 02. 12.).

[36] Dahl, Matthew -Magesh, Varun-Suzgun, Mirac - Daniel E. Ho: Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. arXiv:2401.01301. https://doi.org/10.48550/arXiv.2401.01301 (Letöltés ideje: 2024. 02. 12.).

[37] Mik 2024, 59. p.

[38] TWINING, WILLIAM: "Pericles and the Plumber", Law in Context: Enlarging a Discipline, Oxford, 1997; online edn, Oxford Academic, 2012.

[39] Lásd még részletesebben Karsai Krisztina: The Future of Legal Education - Legal Education for the Future [A jogi oktatás jövője - Jogi oktatás a jövőért]: Lectio Magistralis - An Edited Version [Lectio Magistralis -Szerkesztett változat] REVISTA FACULTATII DE DREPT ORADEA / JOURNAL OF THE FACULTY OF LAW ORADEA 2022/2 7-24. pp.

[40] A plugin egy szoftverbővítmény, amely lehetővé teszi a meglévő programok vagy rendszerek funkcióinak kiterjesztését vagy módosítását. Pluginokat gyakran használnak böngészőkben, grafikai tervező szoftverekben, és más alkalmazásokban, hogy speciális vagy személyre szabott funkciókat adjanak hozzájuk.

[41] A "prompt engineering" vagy "promptolás" az a folyamat, ahol specifikusan megfogalmazott szöveges utasításokat vagy "promptokat" készítenek, célzott válaszok előidézésére mesterséges intelligencia rendszerekben, különösen azon modellekben, amelyek nyelvi feladatokra vannak kiképezve. Ez magában foglalja a kérdések, parancsok, vagy leírások pontosítását úgy, hogy az MI a lehető legrelevánsabb és pontosabb válaszokat adja.

[42] A kutatással érintett gazdaságinformatikai és médiatudományi tesztek módszertanát ehelyütt nem részletezzük, azokat lásd: Orbán Gábor - Bubelényi Alexandra: Útmutatás vagy Tévút? A ChatGPT Hatása a Felsőoktatásban Tanuló Hallgatók Teljesítményére. Budapesti Corvinus Egyetem Tudományos Diákköri Dolgozat, 2024.

[43] 18/2016. (VIII. 5.) EMMI rendelet a felsőoktatási szakképzések, az alap- és mesterképzések képzési és kimeneti követelményeiről, valamint a tanári felkészítés közös követelményeiről és az egyes tanárszakok képzési és kimeneti követelményeiről szóló 8/2013. (I. 30.) EMMI rendelet módosításáról.

[44] Az Európai Képesítési Keretrendszer (Európai Parlament és a Tanács ajánlása, 2008/C 111/01) az egész életen át tartó tanulás Európai Képesítési Keretrendszerének létrehozásáról) és a magyar képesítési keretrendszer értelmezésében a tudás deklaratív, a készség-képesség lehet motoros vagy kognitív képesség, skill; az attitűd érzelmet, viselkedést megismerést kiváltó struktúra és jellemző; az autonómia (és felelősségvállalás) pedig az önszabályozásra, reflektivitásra, szakmai identitásra, együttműködési készségre vonatkozó eredményeket jelent. A jogászképzés a 7. szintjén helyezkedik el a képesítési keretrendszernek.

[45] Jelenleg nincs jogszabályi rögzítése a képzési és kimeneti követelményeknek, azonban az egyes szakokat meghirdető intézmények tantárgyi programjában ezek továbbra is fennmaradtak (akkreditációs követelményként). Ugyanakkor folyamatban van a felsőoktatási minőségbiztosítási rendszer átalakítása a szakok tartalmával kapcsolatosan is, és az ún. elvárt tanulási eredmények kialakítása zajlik kormányzati és felsőoktatási szereplők részvételével.

[46] Nincs összehasonlító kutatás az eltérések arányáról, de saját vizsgálat alapján kb. 75-85%-ra becsülhető az átfedés a különböző egyetemi karok által meghirdetett jogász-szakok között.

[47] Vö. Nick James - Kelley Burton: Measuring the Critical Thinking Skills of Law Students Using a Whole-of-Curriculum Approach. Legal Education Review 2017/1 Article 1. https://epublications.bond.edu.au/ler/vol27/issl/1 (Letöltés ideje: 2024. 02. 13.).

[48] "Az Európai Unió belépett-e az Emberi Jogok Európai Egyezményébe?"

[49] Pl. "Melyek az irányelv közvetlen hatályának feltételei az Európai Unió Bíróságának joggyakorlata szerint?" "A büntetőeljárásban az eljárás alá vont személy pozíciójának elnevezése"; "Az emberölés minősített esetének megnevezése gyilkosság (igaz-hamis)."

[50] "Az Európai Bíróság (EB) és az Európai Unió Bírósága két különböző bíróság."

[51] "Melyik fogalom áll az alábbi definíció mögött: az örökhagyó azon joga, amellyel örökösét a kötelesrésztől is megfoszthatja?"

[52] A már eddig bemutatott használati arányos és demográfiai jellemzők miatt.

[53] Az ExamEye kutatócsoportunk által fejlesztett mérőeszköz, amely webböngésző-kiterjesztésként szolgál a mérési célok elérésére. A hallgatók online tevékenységének követését teljes mértékben az adatvédelmi szabályok betartásával és etikus módon végeztük. Az ExamEye lehetővé teszi, hogy pontos adatokat gyűjtsünk a felhasználók webböngészési szokásairól, miközben biztosítjuk, hogy a résztvevők személyes adatai és jogai teljes körű védelmet élvezzenek.

[54] A Document: hasFocus() method változó segítségével.

[55] Casad, Brenda J. - Luebering, Jacob E.: Confirmation Bias. Encyclopedia Britannica, 2024. https://www.britannica.com/science/confirmation-bias. (Letöltés ideje: 2024. 01. 10.).

[56] Hales, Adam H.: One-tailed tests: Let's do this (responsibly). Psychological Methods, 2023. https://doi.org/10.1037/met0000610 (Letöltés ideje: 2024. 01. 16.).

[57] Hunyadi, László - Vita, László: Statisztika II. Akadémiai Kiadó, 2019. https://doi.org/10.1556/9789634542223 (Letöltés ideje: 2024. 01. 16.).

[58] Sullivan, Gail M. - Feinn, Richard: Using Effect Size-or Why the P Value Is Not Enough. Journal of Graduate Medical Education, 2012, 4(3), 279-282. https://doi.org/10.4300/JGME-D-12-00156.1 (Letöltés ideje: 2024. 01. 17.).

[59] Biddix, James P.: Effect Size. Research Rundowns. 2024. https://researchrundowns.com/quantitative-methods/effect-size/. (Letöltés ideje: 2024. 01. 17.).

[60] McLeod, Saul: What Does Effect Size Tell You? Simply Psychology, July 31, 2023. https://www.simplypsychology.org/effect-size.html (Letöltés ideje: 2024. 01. 17.).

[61] López-Chila, Roberto - Llerena-Izquierdo, Joe - Sumba-Nacipucha, Nicolás - Cueva-Estrada, jorge: Artificial Intelligence in Higher Education: An Analysis of Existing Bibliometrics. Education Sciences, 2023, 14(1), 47. https://doi.org/10.3390/educsci14010047(Letoltés ideje: 2024. 01. 18.).

[62] Gill, Sarabjot Singh - Kaur, Ravneet: ChatGPT: Vision and challenges. Internet of Things and Cyber-Physical Systems, 2023, 3, 262-271. https://doi.org/10.1016/j.iotcps.2023.05.004; (Letöltés ideje: 2024. 01. 18.). Chiu, Thomas K. F.: Future research recommendations for transforming higher education with generative AI. Computers and Education: Artificial Intelligence, 2024, 6, 100197. https://doi.org/10.1016/j.caeai.2023.100197(Letöltés ideje: 2024. 01. 12.); Weng, Xiang - Chiu, Thomas K. F. - Tsang, Charlie C.: Promoting student creativity and entrepreneurship through real-world problem-based maker education. Thinking Skills and Creativity, 2022, 45, 101046. https://doi.org/10.1016/j.tsc.2022.101046 (Letöltés ideje: 2024. 01. 18.).

[63] Gill, Sarabjot Singh - Xu, Min - Patros, Paul - Wu, Hui - Kaur, Ravneet - Kaur, Kiran - Fuller, Stephen - Singh, Maninder - Arora, Parmod - Parlikad, Ajith Kumar - Stankovski, Vladimir -Abraham, Ajith - Ghosh, Sumit K. - Lutfiyya, Howaida - Kanhere, Salil S. - Bahsoon, Ruzanna -Rana, Omar - Dustdar, Schahram - Sakellariou, Rizos - ... Buyya, Rajkumar: Transformative effects of ChatGPT on modern education: Emerging Era of AI Chatbots. Internet of Things and Cyber-Physical Systems, 2024, 4, 19-23. https://doi.org/10.1016/j.iotcps.2023.06.002 (Letöltés ideje: 2024. 08. 12.). Sullivan, Miriam - Kelly, Andrew - McLaughlan, Paul: ChatGPT in higher education: Considerations for academic integrity and student learning. Journal of Applied Learning and Teaching, 2023, 6(1), 10.37074/jalt.2023.6.1.17. https://doi.org/10.37074/jalt.2023.6.1.17 (Letöltés ideje: 2024. 08. 12.).

[64] Javier, D. Rafael C. - Moorhouse, Benjamin L.: Developing secondary school English language learners 'productive and critical use of ChatGPT. TESOL Journal, 2023. https://doi.org/10.1002/tesj.755 (Letöltés ideje: 2024. 08. 13.).

[65] Moorhouse, Benjamin L.: Beginning and first-year language teachers' readiness for the generative AI age. Computers and Education: Artificial Intelligence, 2024, 6, 100201. https://doi.org/10.1016/j.caeai.2024.100201 (Letöltés ideje: 2024. 08. 13.).

[66] Lásd Princz Adrienn: Elvárt digitális kompetenciák a jogi munkaerőpiacon a történelem és a gyakorlat kontextusában. Doktori értekezés, 2023. Szegedi Tudományegyetem, Állam- és Jogtudományi Doktori Iskola. Kézirat.

[67] Útmutató a generatív mesterséges intelligenciához az oktatásban és a kutatásban. UNESCO, 2023. szeptember 8. https://www.unesco.org/en/articles/guidance-generative-ai-education-and-research (Letöltés ideje: 2024. 01. 14.).