A robottanácsadók a kétezres évek végén jelentek meg a pénzügyi tanácsadói piacon. Olyan szoftverekről van szó, amelyek személyre szabott befektetési tanácsokat adnak, majd jóváhagyás esetén befektetéseket eszközölnek vagy súlyoznak át automatikusan. Az írás két részből áll: az első részben bemutatja a robottanácsadókat és a jelenlegi szabályozási környezetet, amely nagyobbrészt a pénzügyi fogyasztóvédelem szabályait jelenti, és megpróbálja a jelenlegi szabályokat alkalmazni a robottanácsadókra. A második részben a tanulmány kissé eltávolodik a robottanácsadó tematikától, és azt az általános kérdést teszi fel, hogy hogyan kellene szabályozni a robotokat. A szabályozásra vonatkozóan sok elképzelés van, de az írás öt előkérdés tisztázását ajánlja: mi legyen a mesterséges intelligencia jogi definíciója, kinek címezzük azokat a szabályokat, amelyek szabályozzák, mi legyen a régi szabályokkal, mekkora legyen a szerepe a szabályozásban a technológiaszabályozásnak és a számítógépes kódoknak, valamint van-e értelme egy általános robotjogi kódexnek.
A robotok és a mesterséges intelligencia (MI) az elmúlt években az érdeklődés homlokterébe kerültek a jogtudomány területén is.[1] Ennek a területnek az egyik talán kevesek által ismert részterülete a "robottanácsadóké" ('robo-advisors'). A misztikusnak tűnő név ellenére ezek a rendszerek viszonylag egyszerű tevékenységet végeznek, mégpedig a pénzügyi tanácsadás területén: különböző - a befektető preferenciáira és céljaira alapozott, valamint a piacra vonatkozó információk birtokában - befektetési tanácsokat adnak, akárcsak egy valódi, hús-vér tanácsadó.[2] Az
- 108/109 -
európai terminológia alapján tehát nem "robotokról" van szó, hanem részben mesterséges intelligenciát is alkalmazó algoritmusokról.
Ebben az írásban nemcsak ezeket a rendszereket és az e rendszerek által felvetett jogi szabályozási problémákat ismertetem, hanem ezen keresztül általában is szeretném megvilágítani, hogy a jognak milyen dilemmákkal kell szembenéznie, ha egy mesterséges intelligenciával átszőtt területet akar szabályozni. Ezeknek a dilemmáknak egy része visszaköszön abban a sok etikai kódexben és szabályozási policy-ban, amelyet különböző egyetemek, think-tankek, tanácsadó cégek, NGO-k és kormányzati szervek írtak,[3] én azonban, elismerve ezeknek az etikai kódexeknek a létjogosultságát, öt olyan problémára szeretném felhívni a figyelmet, amelyek - ha úgy tetszik - megelőzik még ezeket az etikai dilemmákat is. Olyan előkérdésekre gondolok, mint hogy egyáltalán hogyan érdemes definiálni az MI-t, jelenleg kik, és kik legyenek a jövőben a címzettjei az MI-t reguláló szabályoknak, hogy egyáltalán a jog lesz-e a megfelelő eszköz az MI "kordában tartására", vagy hogy miért tekintjük evidensnek, hogy a régi jog nem lesz alkalmas erre. A robottanácsadók kérdéskörét a második részben arra használom, hogy ezen a konkrét területen keresztül mutassam be az előkérdések létjogosultságát.
A tanulmány két nagyobb részre tagolódik. Az első rész a robottanácsadókkal kapcsolatos jelenlegi helyzetet és jogi szabályozást írja le, míg a második részben ismertetem azt az öt előkérdést amelyet véleményem szerint minden, az MI-t érintő szabályozási kísérlet előtt meg kell válaszolni, és ezeknek a kérdéseknek a létjogosultságát, relevanciáját a robottanácsadók szabályozásának területén illusztrálom.
A személyre szabott ajánlásokat tevő rendszerek szinte az internet megjelenésével egyidősek[4]. Lényegük, hogy a felhasználó által megadott adatokból, de legfőképp az online aktivitásaiból profilokat építenek, következtetések vonnak le, majd ajánlásokat fogalmaznak meg számára. Mindnyájan találkoztunk már online boltokban, ingyenes vagy fizetős videómegosztó portálokon ilyen ajánlókkal.
A pénzügyi szektorban történő használatuk kicsit későbbre tehető, nagyjából a 2000-es évek végére. Leegyszerűsítve olyan szoftvereket jelentenek, amelyek a fel-
- 109/110 -
használók személyes preferenciái alapján termékeket - a pénzügyi szektorban pénzügyi termékeket - képesek automatikusan minimális vagy teljesen hiányzó emberi beavatkozással ajánlani, mégpedig a felhasználók explicit módon megadott vagy más módszerekkel gyűjtött (online vagy offline) viselkedési adatai alapján.
A rendszerek alapvetően két oldalról gyűjtenek adatokat: a befektetőről és a piacról. A befektetői alapadatokat általában kérdőív formájában kérik el. Ez tartalmazza a befektetési célt, a megtakarított és/vagy a megcélzott összeget, a futamidőt és a kockázattűrő képességet, esetleg egyéb adatokat. A piaci adatok olyanokat jelentenek, mint a különböző befektetési instrumentumok és alapok teljesítménye, a piaci folyamatok stb. Mindezek figyelembevételével a szoftverek általában egy portfóliót ajánlanak befektetésre. Ezután - a szoftver beállításaitól függően - időről időre automatikusan át is strukturálják azt, akárcsak egy hús-vér tanácsadó. Az átstrukturáláskor rendszerint kikérik a felhasználó beleegyezését.
A különböző pénzügyi felügyeletek,[5] így az európaiak is,[6] már a 2010-es évek elején felfigyeltek ezekre az ajánlószoftverekre a pénzügyi szektorban, és a szabályozásuk - különösen a fogyasztóvédelmi szempontból történő szabályozásuk - igénye is azonnal felmerült. Mivel ez időben nagyjából ép a MiFID I[7] szabályainak megújításával esett egybe, illetve a MiFID II,[8] illetve a MiFID végrehajtási rendeletének[9] a hatályba lépése már ezeknek a rendszereknek a megjelenése utánra tehető, ezek a jogi normák részben már reflektálnak az automatikus tanácsadó rendszerek problematikájára. Emellett, a MiFID végrehajtási rendelete nevesíti is ezeket a rendszereket, valamint az európai felügyeletek is több dedikált dokumentumban foglalkoztak velük.[10]
- 110/111 -
A szabályozási igény azért nyilvánvaló ezen szoftverek esetén, mert bár egy sor előnyük van, mint például az, hogy jóval olcsóbban adnak tanácsokat, mint az emberi munkaerő, és így hozzáférést engednek a kisebb ügyfeleknek is olyan szolgáltatásokhoz, amelyeket addig ezek nem engedhettek meg maguknak, nyilvánvaló kockázatokat is rejtenek. Ezeket a kockázatokat a hivatkozott szabályozó hatóságok anyagai[11] általában két részre bontják: a pénzügyi intézmények kockázataira és a fogyasztók kockázataira. A pénzügyi intézmények kockázatai között például a rosszul tervezett algoritmusok miatti kártérítési pereket és reputációs kockázatot említhetjük. A fogyasztók kockázatai azonban jóval nagyobbak. Az ESA anyagában az ott említett tizenegy kockázatot alapvetően három csoportra lehet osztani. 1. A rosszul megírt, hackelt, manipulált vagy egyéb módon "elfogult" szoftverrel kapcsolatos kockázatok. 2. A vevők "lustaságára", elkényelmesedésére vagy rossz megértésére visszavezethető kockázatok (pl. hogy a vevők nem tudnak visszakérdezni bizonyos esetekben, vagy a szoftver ajánlásai ellenében lustaságból nem teszik meg a megfelelő lépéseket). 3. A szoftverek "black box"-szerű működéséből fakadó kockázatok (pl. a gép nem tudja megfelelően elmagyarázni, hogy milyen paraméterek szerint adta a tanácsot). Ennek ellenére az anyag az automatizált befektetési szolgáltatások dinamikus növekedését prognosztizálja.
A szabályozás a robottanácsadókkal kapcsolatban jelenleg úgy néz ki, hogy az egyetlen jogi instrumentumban (a MiFID II VHR-ben) történt említésük mellett általában a tanácsadásra vonatkozó, illetve a tanácsadás során alkalmazandó fogyasztóvédelmi szabályokat kell rájuk alkalmazni, illetve amikor magánszemélyek adatait kezelik, akkor az adatvédelmi szabályok egy részét és néhány speciális adatvédelmi rendelkezést. A továbbiakban röviden bemutatom ezt a szabályozást. Az első részben a tanácsadó szoftverek jogi szempontból is lényeges típusait ismertetem, majd azokat a jogszabályokat, amelyek közvetlenül vagy közvetve vonatkoznak rájuk. Ezután két esetet ismertetek szabályozási szempontból, a személyre szabott reklám és a szoftveres tanácsadás eseteit.
Mind az Európai Szabályozó Hatóságok 2015-ös vitaanyaga,[12] mind a 2016-os és a 2018-as jelentése is[13] először is definiálni, majd tipizálni szeretné a szoftvereket, hiszen ez a kockázatok és a jogi szabályozás szempontjából is fontos.
A 2015-ös vitaanyag szerint "[a]z automatikus pénzügyi tanácsadó eszközöket a fogyasztók pénzügyi termékek vagy szolgáltatások vételéhez vagy eladásához kért, és személyzet közreműködése nélkül vagy nagyon kevés emberi interakcióval adott tanács beszerzésére használják."[14]
A legegyszerűbb - és még automatikus tanácsadásnak nem nevezhető - szoftverek azok, amelyek bizonyos kalkulációkat (pl. hitelkalkulátor) és összehasonlítá-
- 111/112 -
sokat (pl. banki vagy biztosítási díjak) végeznek el, tehát olyan műveleteket, amelyek végső soron nem tartalmaznak csak viszonylag egyszerűen átlátható számítási műveleteket, vagy szintén egyszerű, csak munkaigényes adatkigyűjtéseket, és bár némiképp már személyre szabták őket, döntési mozzanat még nincsen bennük. Ezek is képesek azonban egy ügyféllel interakcióba lépni, használhatják az ügyfél adatait, de mindezt csak arra, hogy azokkal előre meghatározott algoritmusok (képletek) alapján számításokat végezzenek. Ezeket a kalkulátorokat egyszerű üzleti ajánlatként vagy reklámként (marketingként) lehet értelmezni, és ebben a tekintetben nem különböznek sokban például egy egyszerű szórólapon vagy hirdetésben adott ajánlattól. Az egyetlen lényegi jogi különbség abban van, hogy a legtöbb ilyen rendszer (bár korántsem mind) használja az ügyfelek személyes adatait.
Az igazi "tanácsadás" és a tanácsadó szoftverek ott kezdődnek, amikor a rendszerek nemcsak statikus információkat és képleteket összesítenek, hanem dinamikus változókat is. Felmérik például a piac pillanatnyi állapotát, illetve a tanácsot kérőnek nemcsak statikus és az adott ügylethez köthető demográfiai adatait (pl. életkorát, kártörténetét) használják, hanem többféle forrásból származó viselkedési, attitűdbeli "puha" adatát is. Itt tehát átlépünk az ajánlat területéről a tanácsadás területére. Ezek a "szoftverek" azok, amelyek valójában robotjogi, Mi-szabályozási kérdéseket vetnek fel, mert ezeknek a működése során kell számításba venni a "döntéshozatal" sajátos jellegét, azt a kérdést, hogy az input és output kapcsolat determinisztikus jellege megszűnhet.
A személyre szabott tanácsadás ugyanakkor már igen komolyan szabályozott tevékenység, részben azért, mert az adatvédelem "profilalkotás" fogalma bizonyosan vonatkozik rá, részben pedig azért, mert a különböző pénzügyi fogyasztóvédelmi normák (így elsősorban a MiFID II, de ezenkívül - mint azt a következőkben majd látjuk - más jogszabályok is) ezt a területet részletesen szabályozzák.
Végül a befektetési döntéseket is eszközlő robotbrókerek szabályozása már egészen szigorú: a GDPR-ban az automatikus döntéshozatal szabályainak, a MiFID II-ben pedig az algoritmikus kereskedéssel, illetve a nagy sebességű algoritmikus kereskedéssel kapcsolatos szabályoknak is meg kell felelniük.
Az Európai Szabályozó Hatóságok 2016-os jelentése[15] jelzi, hogy a területre többféle szabályozás vonatkozik, jóllehet a "robottanácsadást" egyik sem említi. (Ez alól, ahogy említettem, csak a legfrissebb MiFID II VHR kivétel.)
• A témának nyilvánvalóan vannak adatvédelmi (privacy) aspektusai, amelyet a GDPR[16] és az Infotv.[17] szabályoznak.
- 112/113 -
• Az azóta már nem hatályos MiFID I-n és a jelenleg hatályos MiFID II-n, illetve a MiFID II VHR-en kívül, amelyek Magyarországon részben közvetlenül érvényesülnek, hazánkban a Bszt.[18] szabályai jelentik a fogyasztóvédelem gerincét. A Bszt. szabályaival e helyütt azért nem foglalkozom, mert ezek visszautalnak a MiFID II és a MiFID II VHR releváns rendelkezéseire.
A tájékoztatást és a tanácsadást a fentebbi normák hasonló tevékenységként (a tanácsadást a tájékoztatás részhalmazaként), de a tanácsadásra vonatkozóan szigorúbb feltételekkel szabályozzák. Mindkettőnek vannak azonban adatvédelmi aspektusai.
Elöljáróban le kell szögezni, hogy a pénzügyi fogyasztóvédelem és az adatvédelem szabályozásában lényeges különbség, hogy míg a MiFID II szabályainak többségét minden ügyféltípusra alkalmazni kell,[19] és a fogyasztóvédelem legtöbb szabályát tartalmazó 24. és 25. cikkek csak néhány plusz követelményt támasztanak a lakossági ügyfelekkel szemben, addig a GDPR rendelkezései kizárólag a magánszeméllyel kapcsolatba hozható személyes adatokra vonatkoznak.
A GDPR a természetes személyek személyes adatai megszerzésének, kezelésének, tárolásának felhasználásának szabályait tartalmazza, beleértve azt is, hogy milyen jogcímen kezelhetők ezek az adatok. Az általános elveken kívül a robottanácsadók tematikája elsősorban az automatizált döntéshozatal és a profilalkotás[20] kérdéskörét érintheti. Ezeknek a szabályoknak a lényege három pontban foglalható össze:
• az érintett mindig kérheti, hogy rá ne terjedjen ki az automatizált döntéshozatal, azaz főszabályként joga van "kiszállni" az ilyen eljárásból;[21]
• az érintett magyarázatot kérhet arról, hogy a döntés milyen okok alapján született, és kifejtheti az álláspontját;[22]
• illetve minden esetben megtámadhatja a döntést.[23]
A GDPR az automatikus döntéshozatal és a profilalkotás fogalmainak egymáshoz való viszonyát nem tisztázza. Úgy tűnik, mintha az utóbbit az előbbi részhalmazaként kezelné, ez esetben azonban azok a helyzetek, amikor a profilalkotást nem követi döntés, zavarokat okozhat, mert olyan szigorú szabályokat rendel alkalmazni egy enyhébb esetre, ami indokolatlan.
- 113/114 -
A pénzügyi fogyasztóvédelemben a szabályozás számunkra fontos központi mozzanata az ügyfelek megfelelő tájékoztatásának követelménye. A megfelelő tájékoztatás - nyilván az ismert botrányok és válságok hatására - a teljes pénzügyi szolgáltatási szektorban központi probléma. Konkrétumaival kapcsolatban az egyes dokumentumok eltérő részletrendelkezéseket tartalmaznak. A fogyasztói hitelekről szóló irányelv[24] (MCD) például az ún. "egységes európai adatlapot" tekinti a tájékoztatás fő hordozójának, amelynek részletes tartalmát az irányelv melléklete tartalmazza. A biztosítási értékesítésről szóló irányelvben[25] (IDD) külön cikk (18. cikk) foglalkozik a biztosításközvetítő vagy biztosító által nyújtott tájékoztatással, a belső piaci pénzforgalmi szolgáltatásokról szóló irányelvben[26] (PSD) pedig egyenesen egy egész cím (III. cím, 38-60. cikkek). A lakossági befektetési csomagtermékekről szóló irányelv[27] (PRIIPs) pedig ismét csak egy egységes sablondokumentum, az ún. "kiemelt információkat tartalmazó dokumentum" létrehozatalát írja elő a szolgáltatóknak. E helyütt csak a befektetési tanácsadással és a portfóliókezeléssel foglalkozom.
A fogyasztóvédelem második aspektusa az egyszerű tájékoztatáson túlmutató tanácsadás, és ezen belül a személyre szóló tanácsadás szabályozása az egyes EU-s normákban. A tanácsadás definíciója a MiFID II szerint: "egy vagy több ügylet tekintetében pénzügyi eszközökhöz kapcsolódó, személyre szóló ajánlások nyújtása valamely ügyfélnek akár az ügyfél kérésére, akár a befektetési vállalkozás kezdeményezésére."[28] Az egyes területeken a tanácsadás más-más aspektusaira helyeződik a hangsúly, azonban a négy normát összekapcsolja három, a tanácsadáshoz kötődő egyszerű kívánalom:
• A tanácsadásnak valóban a tanácsot kérő érdekeit kell szolgálnia, így például a befektetőnek értesülnie kell arról, hogy a tanácsadó kap-e díjazást a termék forgalmazójától.[29]
• A tanácsadásnak kompetensnek kell lennie; például a piacon szóba jöhető befektetések kellően széles skáláját kell figyelembe vennie, a tanácsadó "köteles a piacon elérhető pénzügyi eszközök [...] kellően nagy körét értékelni".[30]
- 114/115 -
• Végül a tanácsadásnak valóban személyre szabottnak kell lennie. ("Be kell szereznie a szükséges információkat az ügyfél vagy potenciális ügyfél adott termék vagy szolgáltatás meghatározott fajtája szempontjából releváns befektetések terén meglévő ismereteiről és tapasztalatairól, pénzügyi helyzetéről, így a veszteségviselési képességéről és befektetési céljairól, ezen belül kockázattűréséről")[31] Ugyanezeket a követelményeket szinte szó szerint megtaláljuk a fogyasztói hitelekről szóló irányelvben,[32] és a biztosítási értékesítésről szóló irányelvben is.[33]
Ahogy említettem, a személyre szabott reklám csak viszonylag szűk körben vet fel jogi kérdéseket.
Ezeknek a személyre szabott reklámoknak az adatvédelmi relevanciája az, hogy az ügyfél a saját elképzeléseiről (például megtakarítási céljairól) vagy demográfiai adatairól (életkoráról, jövedelméről) személyes információkat ad meg. Amíg az érintettel az adat kapcsolata helyreállítható, addig a GDPR megfelelő szabályai erre a személyes adatkezelésre vonatkoznak. Ebben a körben a GDPR ismert elveit kell megemlíteni: az adatokat tisztességesen és átláthatóan kell kezelni, érvényesülnie kell a célhoz kötöttség, adattakarékosság, pontosság, korlátozott tárolhatóság, az integritás és bizalmasság, valamint az elszámoltathatóság elvének. Mivel ezeknél a marketingjellegű "tanácsadó" alkalmazásoknál jellemzően nincsen szerződéses kapcsolat az érintett és a szervezet között, az adatkezelés jogalapja az érintett hozzájárulása. A GDPR 13. cikke tartalmazza az erre vonatkozó követelményeket. Az érintettnek az alábbi információkat kell megadnia, amikor az adatgyűjtés megtörténik: az adatkezelő kilétét, az adatvédelmi tisztviselő elérhetőségeit, az adatkezelés jogalapját és célját, ha van, a külföldre továbbítás tényét, az adatkezelés tárolásának időtartamát, a helyesbíthetőséggel és a törléssel kapcsolatos információkat, a hatósághoz való fordulás lehetőségét és az automatikus döntéshozatalra, illetve a profilozásra vonatkozó információkat. Mivel ezekben az esetekben szintén tipikus, hogy a megadott adatokat más célokra is használják, ezeket a további célokat is tudatni kell azokkal, akik az adatokat megadták.
A MiFID II kifejezetten tartalmaz a pénzügy termékek marketingjére, annak tisztességességére vonatkozó előírásokat,[34] és a szabályozó hatóságok, így például az Európai Értékpapír Hatóság is több dokumentumban foglalkozott a "nem félrevezető"
- 115/116 -
marketinggel és tájékoztatással. Egy 2014-es jelentésében, amely kifejezetten ezt a témát dolgozza fel,[35] egy 2017-es konzultációs anyagban,[36] másrészt két, 2018-ban keletkezett dokumentumban, egy útmutatóban[37] és egy jelentésben[38] is. Bár a 2014-es Útmutató még a MiFID I idején készült, és elsősorban a felügyelő hatóság gyakorlatait összesíti, illetve nekik próbál útmutatásokkal szolgálni, nem tanulság nélkül való mégis néhány benne foglalt figyelmeztetésre felhívni a figyelmet, mivel a marketingkommunikációra vonatkozó rendelkezéseket a MiFID II a MiFID I-ből változtatás nélkül vette át. A két anyagból az alábbi mozzanatokat tartom kiemelendőnek:
• A marketingnek vagy marketingkommunikációnak nincsen egységes fogalma, és az sokszor egybemosódik a jogilag jóval feszesebben szabályozott "szerződéskötés előtti információnyújtással".
• A marketing/tájékoztatás egybefolyása miatt a nemzeti szabályozó hatóságok gyakorta sztenderd tájékoztatási formákat (pl. az egységes európai adatlaphoz hasonló[39] egységes tartalmú nyomtatványokat) írnak elő a szolgáltatók számára. A robottanácsadók kontextusában azonban kérdés, hogy ezeknek a nyomtatványoknak a tartalmát mennyire lehetséges a beviteli dobozokat és rövid, számszerű outputokat tartalmazó kalkulátorokba beépíteni.
• A szabályozó hatóságok nagyon eltérő gyakorlatot folytatnak az ellenőrzés terén abban a tekintetben, hogy ellenőrzési szempontból mely üzleti fázisokat tartják relevánsnak.
A tanács ('advice') vagy ajánlás ('recommendation') azért érdemel sokkal komolyabb figyelmet, mert itt már sokkal inkább személyre szabottan, és sokkal bonyolultabb, átláthatatlanabb (pl. az egyén korábbi viselkedését is szem előtt tartó) algoritmusokon keresztül történik a magánszemély befolyásolása.
A személyre szabott tanácsadást végző algoritmusokra már érvényesek a GDPR profilozásra vonatkozó szabályai, és a MiFID II befektetési tanácsadás fogyasztóvédelmi aspektusairól szóló előírásai is, mindenekelőtt az alkalmassági vizsgála-
- 116/117 -
tok elvégzésével kapcsolatos részletrendelkezések, amelyeket részben a MiFID II-ben, részben pedig a MiFID II felhatalmazáson alapuló rendeletében[40] találhatunk.
A profilalkotás a GDPR-ba frissen bekerült rendelkezés. Bár vannak viták arról, hogy pontosan miként is viszonyul az automatizált döntéshozatalhoz,[41] érvényes szabályai a következők. A profilalkotás fogalmát a GDPR 4. cikk 4. pontja tartalmazza: "személyes adatok automatizált kezelésének bármely olyan formája, amelynek során a személyes adatokat valamely természetes személyhez fűződő bizonyos személyes jellemzők értékelésére, különösen a munkahelyi teljesítményhez, gazdasági helyzethez, egészségi állapothoz, személyes preferenciákhoz, érdeklődéshez, megbízhatósághoz, viselkedéshez, tartózkodási helyhez vagy mozgáshoz kapcsolódó jellemzők elemzésére vagy előrejelzésére használják".
A GDPR Preambuluma szintén többször említi a profilalkotást, de a Preambulum rendelkezései nem kötelezők. A kötelező szabályokat a GDPR 21-22. cikkei tartalmazzák, valamint a 13. cikk (2) bek. f) pontjában találhatunk egy, az automatikus döntéshozatal esetén előírt plusz szabályt.
A GDPR követelményei elég világosak, de a robottanácsadókra olykor igen nehezen alkalmazhatók: az általános rendelkezéseken és adatvédelmi tájékoztatásokon felül az érintettet tájékoztatni kell arról a tényről, hogy az automatikus ajánlás folyamata során róla profil készül, közölni kell vele, hogy bármikor kérheti a profilalkotás során létrejött adatainak a törlését (ilyenkor nyilván tudatni kell vele, hogy ez esetben egyszerűen nem fog kapni szolgáltatást, azaz a szerződést is meg kell vele szüntetni), valamint érthetően el kell magyarázni az alkalmazott logikákat és ezek jelentőségét. (A következményekre való figyelmeztetésnek ez esetben megint csak korlátosan van jelentősége, mert a végső döntést az ügyfél hozza.)
Vegyük észre, hogy az egész kérdéskör azért elég ellentmondásos a GDPR alapján, mert a profilalkotást a GDPR az automatikus döntéshozatal egyik alesetének tekinti, amennyiben a profilalkotáskor az egyént egy automata besorolja egy kategóriába. (Amely automatikus döntés.) Ez azt is jelenti, hogy erre a besorolási döntésre az automatikus döntéshozatalra vonatkozó minden szabály vonatkozik. Többek közt például az is, hogy kérni lehet az az alóli mentességet. A kérdés az, hogyan tud egy szoftver tovább működni, ha az összes, a profilhoz tartozó adatot visszavonják belőle. Valószínűleg sehogy. Elég világos, hogy a GDPR vonatkozó helyeinek megalkotásakor nem a robottanácsadók problematikáját tartották szem előtt, hanem inkább egy olyan aszimmetrikus helyzetet, amilyen például egy hatósági vagy egy banki hitelbírálati döntés.
- 117/118 -
A MiFID II rendelkezései több helyen foglalkoznak a befektetési tanácsadás tisztességességével. Már a preambulumban is találhatunk néhány szabályt, de a kritikus szabályokat a 24. és 25. cikkek tartalmazzák, amelyek, ahogy fentebb már jeleztük, a "becsületes" és "tisztességes" eljárást várják el a befektetési szolgáltatóktól.
Ezen felül a 25. cikk (8) bekezdésben írt bizottsági felhatalmazás nyomán a Bizottság a korábban többször említett MiFID II VHR-t alkotta meg, amely az 54. és 55. cikkében részletezi az alkalmasság értékelésének folyamatát.[42]
A befektetési tanácsadással kapcsolatos általános követelmények és ezek konkrét teljesítési módja tehát évek óta tisztázott: a szolgáltatók (a magyar zsargonban: vállalkozások) kötelesek megismerni ügyfeleik igényeit, kockázatvállalási hajlandóságukat, tisztességes, teljes tájékoztatást kell nyújtaniuk, sőt bizonyos esetekben az "önsorsrontó" ügyfélmagatartásra is figyelmeztetniük kell az ügyfeleket; mindezt szabványos formában, sokszor sztenderd szövegű űrlapokkal és figyelmeztetésszövegekkel kell megtenniük. Eközben a teljes folyamatot alaposan dokumentálniuk kell. De mi ezeknek a rendelkezéseknek és az őket magyarázó dokumentumoknak, szakértői anyagoknak a válasza a robottanácsadók kérdéskörére?
A MiFID II, ahogy azt fentebb láttuk, nem szabályozza, sőt még csak nem is említi a kérdést. Ahogy azt korábban jeleztük, időnként a "személyre szabott tanácsadás" kategóriáját használja ugyan, de a MiFID II szempontjából a "robotok" csak automatikus kereskedést végző robotok lehetnek, amely kívül esik az itteni vizsgálódásainkon.
A MiFID II VHR a Preambulum (86) bekezdésében már felismeri a problémát.
"VHR (86) A piaci fejlemények figyelembevétele és a befektetővédelem azonos szintjének biztosítása érdekében tisztázni kell, hogy továbbra is a befektetési vállalkozások lesznek felelősek az alkalmassági vizsgálatok elvégzéséért olyan esetekben is, amikor a befektetési tanácsadást vagy a portfóliókezelési szolgáltatást teljes egészében vagy részben automatizált vagy félautomatizált rendszereken keresztül nyújtják."
A VHR szövege visszatér a témára, de valójában nem ad eligazítást a kérdésben, hiszen csak annyit ír, hogy a robottanácsadókra ugyanazok a szabályok vonatkoznak, mint az ember által nyújtott tanácsadásra.
"VHR 54. cikk (1) [...] Amennyiben a befektetési tanácsadás vagy a portfóliókezelési szolgáltatások összessége vagy egy része automatizált vagy félig automatizált rendszerben zajlik, az alkalmassági értékelés elvégzése a szolgáltatást nyújtó befektetési vállalkozás felelősségébe tartozik, és a személyes ajánlás megadása vagy a kereskedésre vonatkozó döntéshozatal tekintetében nem korlátozódhat egy elektronikus rendszer használatára."
- 118/119 -
Ez a követelmény egyszerre két elvárást tartalmaz: egyfelől a robottanácsadót működtető tanácsadó cég hatáskörébe utalja az alkalmassági értékelés elvégzését, másfelől azt írja elő, hogy a személyes ajánlás megadása és a kereskedés nem korlátozódhat egy rendszerre.
Az Értékpapír-piaci Hatóság anyagai is megerősítik mindezt. Az egyik ilyen anyag[43] egész alfejezetet szentel a témának, amely azzal kezdődik, hogy az automatizált tanácsadó eszközök gyorsan terjednek, és utal a fentebb, a tanulmány elején jelzett ESA-jelentésre, amely szerint az ilyen szolgáltatások egyszerre nyújtanak előnyöket, de jelentenek kockázatot is. Az anyag - akárcsak a MiFID II VHR - főszabályként leszögezi, hogy amennyiben a szoftverek a MiFID II definíciói szerinti tanácsadást vagy portfólió-kezelést végeznek, a cégnek (nyilván a robottanácsadót üzemeltető cégnek) ugyanúgy meg kell felelnie a MiFID II alkalmassági követelményeinek, mintha ezeket ember nyújtaná. Ez önmagában nem túl informatív, ezért az anyag szerzői három, valamivel konkrétabb kritériumot is meghatároznak a robottanácsadókkal kapcsolatban:
• a cég köteles jelezni az ügyfélnek, hogy a tanácsadást gép nyújtja;
• a megfelelőségi értékelésnek igazodnia kell az automatizáltság fokához (pl. a kérdőívnek másnak kell lennie);
• az automatizáltság foka speciális szervezési intézkedéseket is indokolhat.
A robottanácsadás - olvashatjuk az anyagban - abban különbözik a hagyományos tanácsadástól, hogy nem előzi meg interakció, beszélgetés egy emberi tanácsadóval: nincsen lehetőség kérdések feltételére: ezért a cégeknek fel kell készülniük arra, hogy hogyan tudják elmagyarázni az alkalmazott modellt egyszerűen, érthetően, és azt is, hogy mikor, milyen pontokon tudnak az ügyfelek emberi beavatkozást kérni.
Az ESMA-ajánlás már a szektor résztvevőinek visszajelzései alapján született. Az anyag helyesen ismeri fel, hogy a robottanácsadás többféle automatizálási szintet jelenthet, sőt a szolgáltatói visszajelzések alapján az is világos lett, hogy nem mindegy, hogy olyan robottanácsadóról beszélünk, amely a tanácsadókat segíti ('professional-facing robo-advice') vagy a fogyasztókat ('client-facing robo-advice'). Többen azt hangsúlyozták, hogy a szabályozásnak elsősorban az utóbbira kell kiterjednie. Az is fontos szempont, hogy egyes szoftverek profilozáson alapulnak, míg mások csak egyszerű "kvantitatív menedzsmentet" alkalmaznak. Az ESMA azonban nem elsősorban ezen megkülönböztetésekre épít, hanem továbbra is azt vallja, hogy amennyiben befektetési tanácsadásról vagy portfólió-menedzsmentről van szó, a MiFID II és a VHR rendelkezéseit és az ESMA útmutatásait alkalmazni kell. Sőt, az ESMA-ajánlás[44] azt sugallja, hogy az ügyfelek felvilágosítása során[45] vagy a valódi piacismeretük felmérése során fokozott óvatossággal kell eljárni, valamint különleges "magyarázó" informatikai megoldásokat és az emberi beavatkozás, tanácsadáskérés lehetőségét is mindig be kell iktatni.
- 119/120 -
Az ESMA 2017-es konzultációs dokumentuma[46] alapján több pénzügyi felügyelet is elkészítette a maga útmutatóit a tárgykörben. Ezek közül a magyar mellett (amelyet a következőkben ismertetek, de amely csak érintőlegesen foglalkozik a robottanácsadók problematikájával) a holland felügyelet útmutatóját[47] érdemes kiemelni. Ez az útmutató alapvetően pozitív módon ítéli meg a pénzügyi innovációkat, de alapelvként leszögezi, hogy minden rendszert úgy kell megalkotni, hogy az mindig a fogyasztók érdekeit tartsa szem előtt. Bármilyen szolgáltató csakis akkor vezethet be ilyen szolgáltatásokat, ha száz százalékban képes annak kontrolljára (vagyis a szoftver és az adatok feletti felügyeletet megfelelő módon tudja gyakorolni). A vevők megszerzésekor ('onboarding') az intelligens kérdőív használatát javasolják, amely például képes ki küszöbölni a homályos, bizonytalan válaszokat, ellentmondásokat, és a személyre szabott kérdésekkel a fogyasztókat involválja a folyamatba. Ezen felül az ajánlás külön felhívja a figyelmet az ügyfelek adatainak folyamatos frissítésére és az adatpontosság miatt arra, hogy az ügyféladatokhoz is használjanak külső adatforrásokat (pl. jövedelmi adatokat az adóhatóságtól). Itt jegyzem meg, hogy ugyanakkor ez külön adatvédelmi problémákat vethet fel.
A robottanácsadók problémáját egy friss MNB ajánlás[48] is érinti, amely egyébként több ponton hasonlít a holland ajánlásokra. Az anyag egyrészt - a GDPR-ral összhangban az emberi beavatkozás terjedelemének pontos ismertetését kéri, az ügyfélválaszok és a befektetési döntések egymáshoz képesti kapcsolatának részletezését, az információforrások részletezését (pl. hogy a kérdőív adatain kívül használnak-e más adatforrásokat) és az adatok aktualizálására vonatkozó információkat.[49] Az anyag konkrét ötleteket is tartalmaz a fogyasztók tájékoztatásáról: a robottanácsadó szoftverek alkalmazzanak felugró figyelmeztető ablakokat, interaktív súgót és gyakran ismételt kérdéseket.[50] A Nemzeti Bank anyaga tartalmaz néhány speciális ajánlást a robottanácsadók által használt kérdőívekre vonatkozóan. Ezek nagy része azt a helyzetet próbálja meg kezelni, hogy a robottanácsadás esetén nincsen emberi interakció, visszakérdezési lehetőség, így azt ajánlja például, hogy legyenek olyan funkciók a kérdőívben, amelyek "figyelmeztetik az ügyfeleket, ha válaszaik a kérdőíven belül következetlennek tűnnek."[51]
A robottanácsadók szabályozása így néz ki tehát a hatályos jog alapján.[52] Jól látható, hogy a 2010-es évek közepén egyfajta pánik uralta a szabályozó hatóságokat, és sorra gyártották a jelentéseket, policy paper-öket, ajánlásokat a robottanács-
- 120/121 -
adókkal kapcsolatban. Az izgalom azután alábbhagyott, több ok miatt is. A legfőbb ok, hogy a robottanácsadók jelenleg a befektetési piac kis szeletét fedik le, még az USA-ban is. Másrészt a teljes automatizálástól még igen messze vagyunk ezekben a szolgáltatásokban, legalábbis a háttérben még igen sok emberi elem, döntés, beavatkozás található. Harmadrészt a robottanácsadók jóval konzervatívabb befektetési politikát visznek, mint alkalmasint a humán brókerek, ezért hibázni sem tudnak akkorát.[53] Szinte mindenki azt prognosztizálja viszont, hogy a növekedés ezen a területen hatalmas lesz, és az is igaz, hogy bizonyos szabályokról már első látásra kiderült, hogy vagy értelmezhetetlenek, vagy betarthatatlanok, ha a robottanácsadókról van szó. Az bizonyos tehát, hogy a jelenlegi szabályozást módosítani kell majd, de egyelőre senki nem tudja pontosan, hogy mit és hogyan.
Nemcsak a robottanácsadók kapcsán van bizonytalanság, hanem szinte minden olyan területen, ahol megjelent a magas fokú automatizáció vagy a mesterséges intelligencia. A 2010-es évek elején egy sor intézmény elkezdett különféle ajánlásokat, etikai kódexeket kidolgozni az MI, a digitális világ, az automatizáció új jelenségeinek kezelésére. Ezek a dokumentumok olyasféle címeket viseltek, mint "Algoritmikus átláthatóság és elszámoltathatóság",[54] "Az ember-robot interakció kódexe",[55] "Digitális etika"[56] vagy "Az MI felelős használata".[57] Az Európai Unió[58] és az Európa Tanács[59] szintén több anyagban foglalkozott az MI etikai kérdéseivel.
- 121/122 -
Sajnos akár a robottanácsadókról szóló anyagokat, akár ezeket a szabályozási javaslatokat olvassuk, folyamatosan hiányérzetünk van. Olyan alapproblémákat érzünk megválaszolatlannak, mint hogy tulajdonképpen mi is az MI, és mi a probléma vele. Egyáltalán létezik-e általános fogalma, és van-e értelme "általában" szabályozni, amikor olyan egymástól távol eső területeken tevékenykedik, mint a gyártás, a pénzügyi befektetési szektor, az egészségügy több területe vagy a bűnügyi predikció? Kinek szólnak ezek az etikai kódexek, ki legyen a szabályozás címzettje?[60] Mi dönti el, hogy egy régi jogi szabály működik-e az MI-re vonatkozóan vagy sem? Ha az MI-t végső soron kódok vezérik, akkor a jognak egyáltalán milyen szerepe lesz az MI kontrollálásában? Mi lesz a jog és a kód viszonya? És így tovább.
A továbbiakban öt olyan kérdést elemzek, amely nemcsak a robottanácsadók, hanem általában a magas szinten automatizált vagy MI-vel támogatott területeket érintik. A robottanácsadókat pedig példaként használom majd az egyes elméleti problémák megvilágítására.
Az első kérdés, amely felvetődik és amely felett nagyon sokszor elsiklunk, hogy tulajdonképpen mi is az MI, és mi a baj vele.[61] Milyen újszerű, speciális jegyekkel rendelkezik, amely miatt új szabályozásra van szükség? Milyen kockázatokat kell kezelnünk vele?
Az ismert MI-kézikönyv[62] szerint az MI "emberi módon/racionálisan gondolkodni/cselekedni képes rendszer (ágens). Ma már szinte mindenütt közhelyként kezelik
- 122/123 -
ugyanakkor, hogy a kétféle (szimbolikus vagy szabályalapú és statisztikai alapú) MI közül lényegében szinte csak a statisztikai alapú MI-t használják, és ezen belül is a gépi tanuláson vagy gépi mélytanuláson alapuló rendszereket. Ez azt eredményezte, hogy az utóbbi években az öntanulási képesség[63] lett az MI fő jellegzetessége, az az elválasztó ismérv, amely megkülönböztet egy determinisztikusan működő gépet, egy egyszerű automatát egy MI-től. Milyen jelentősége lehet ennek a jogi szabályozás szemszögéből? A jogi szabályozás számára mindegy, hogy milyen technológia áll a háttérben. Nincsen relevanciája ugyanígy annak sem, hogy az adott rendszer "emberi módon cselekszik", illetve van-e öntanulási képessége. A jog a még be nem következett eseményeket a kockázatok, a bekövetkezett eseményeket pedig a felelősség oldaláról közelíti meg. A robottanácsadók esetén (is) elég világos, valójában a "nem determinisztikus" (még egyszerűbben nem kiszámítható, nem megérhető és nem elmagyarázható) viselkedéssel van a valódi probléma. Kiszámíthatatlan kimenetet, illetve "feketedoboz-szerű működést" nemcsak neurális hálók és öntanuló rendszerek tudnak produkálni, sőt, ehhez még csak valódi MI sem kell, hanem egy kellően bonyolult (azaz adott esetben sok százezer vagy millió féle kimeneti állapotot felvenni képes) döntési fa is.
A robottanácsadók szabályozási dilemmái jól mutatják ezt. A legtöbb anyag egyáltalán nem utal az MI-re, amikor az automatikus tanácsadást igyekszik szabályozni, vagy ajánlásokat megfogalmazni: a legtöbbször úgy különbözteti meg a robottanácsadókat, hogy az emberi beavatkozás hiányát tekinti elválasztó ismérvnek.[64] Az emberi beavatkozás mértéke alapján javasol különféle intézkedéseket, tájékoztatást, szoftveres kontrollokat stb.
Ez a megoldás emlékeztet az adatvédelem automatizált döntéshozatalra vonatkozó szabályaira, amelyek azonban magát az automatikus döntéshozatalt nem definiálják, de itt is az "emberi beavatkozás nélkül" kifejezést találjuk.[65] Így meg kell állapítanunk, hogy az MI szabályozásával kapcsolatos problémák valójában nem újak, és nem is az MI-hez kötődnek, hanem általában jellemzők a bonyolult automaták minden válfajára. Ez azonban felveti azt a kérdést, hogy vajon az a rengeteg erőfeszítés, amely a mesterséges intelligencia szabályozására irányul, valóban hozott-e bármilyen érdemi eredményt. Van-e a mesterséges intelligenciának olyan sajátossága, amely megkülönbözteti a döntéseket hozó automatáktól. Erre a kérdésre magam sem tudom a választ.
Ha elolvassuk az etikai kódexeket, első látásra feltűnik, hogy azoknak igen eltérő címzettjei vannak. Van egy sor olyan dokumentum, amely a szabályozó államokat veszi célba, és van egy sor olyan, amely azokat a cégeket vagy szervezeteket (de ez persze lehet magánszemély is), amelyek használják, alkalmazzák az MI-t. A robot-
- 123/124 -
tanácsadók esetén az a kevés szabályozás, amely kifejezetten a rájuk irányul, ez utóbbi megoldást választja, hiszen a pénzügyi fogyasztóvédelmi szabályozás címzettjei főszabályként a pénzügyi vállalkozások.
Elképzelhető más szabályozási technika is ugyanakkor, és az ajánlások egy része használja is ezeket. Az egyik lehetséges címzetti kör az MI-iket előállító cégek (tehát egyelőre és jellemzően a szoftverfejlesztő cégek) vagy a cégekben dolgozó mérnökök, akiknek kötelességük bizonyos etikai és egyéb sztenderdeket betartaniuk.[66]
Végül, bármilyen furcsának hangzik is, a címzett lehet maga az MI is, mégpedig abban a formában, hogy - ahogy ez egyre gyakrabban előfordul - a jogi szabályozás nem elsősorban emberi magatartásokat céloz, hanem a technológiai kimeneteket, folyamatokat, szabványokat definiál, és a szabályozó hatóságok is ezeket a szabványokat igyekeznek betartatni.
Az előző pontokban említettekkel szorosan összefügg az a dilemma, hogy a mesterséges intelligencia koordinálásához teljesen új szabályokra van-e szükség, vagy a régiek adaptációjára.[67] Gondoljunk csak az elég sokszor emlegetett KRESZ-szabályokra és az autonóm járművekre, ahol szinte közhely, hogy amennyiben az autonóm járművek bizonyos körülhatárolt területen "egyedül" maradnak, a KRESZ-re, azaz olyan szabályrendszerre, amely mindenki számára előre kiszámítható és stabil szabályozást biztosít, nem lesz többé szükség, hiszen a forgalom irányítása a pillanatnyi körülmények, a járművek száma, az időjárási viszonyok stb. függvényében pillanatról pillanatra fog történni. Ebben a helyzetben csak olyan, az irányítást befolyásoló magas szintű elveket kell betartani, mint például hogy az emberi egészség megóvása (a balesetek elkerülése) mindenek feletti szempont stb.
Az amerikai szakirodalom kedvenc témája a robottanácsadókkal kapcsolatban, hogy vajon ezek megfelelnek-e az 1940-es befektetési tanácsadókról szóló szövetségi törvénynek,[68] illetve hogy általában megfelelnek-e a pénzügyi szektor fogyasztóvédelmi szabályainak.[69] Ahogy azt jeleztem, a 2010-es évek elején elég határozott volt az a vélemény, hogy teljesen új szabályokra lesz szükség. Amikor azután a szabályozó hatóságok elmélyedtek a témában, már jóval kevésbé radikálisan fogalmaztak. Seidt
- 124/125 -
és szerzőtársai szerint[70] a portfóliókat valójában a robottanácsadókon keresztül most is emberek menedzselik. Ők határozzák meg a modelleket, amelyek az algoritmusokat vezérlik, ők adják meg, milyen adatok alapján hozzák meg a robotok a döntést, és így tovább.[71]
A régi vagy új szabályok dilemmát szerintem úgy lehet feloldani, hogy a következő tényből indulunk ki: a szabályozásnak a jogban általában két szintje van. Az első szintet azok a rendelkezések képviselik, amelyek az adott jogterület legfőbb alapelveit - legtöbbször erkölcsileg erősen színezett szabályait - tartalmazzák, amelyek magának a szabályozásnak az értelmét, célját is adják. Ezt manapság egyébként a legtöbb jogi norma explicit módon is tartalmazza, például épp a jogszabály elején található elvek formájában. Nagyon sokfelől lehetne példát hozni, de mondjuk a médiajogban ez a sajtószabadság biztosítása és a cenzúra tilalma, a sajtószabadság gyakorlása során előidézett károk megakadályozása és szankcionálása és a vélemények sokszínűségének biztosítása.[72]
A szabályozás második csoportja a szabályozási célokat bontja le konkrét rendelkezésekre. Médiajogi példánknál maradva a második szabályozási cél, a kockázatok elkerülése körében találhatjuk a kiskorúak védelmét és azt a rendelkezést, hogy a televíziócsatornák nem sugározhatnak káros tartalmakat egy bizonyos időpont előtt. A technikai fejlődés általában a második rendelkezés-halmazt érinti, és elég ritkán változtatja meg a szabályozás elveit, céljait. A médiajogi példánkkal élve, ha a lineáris televíziózást felváltja a lekérhető tartalom,[73] akkor azok a konkrét rendelkezések, amelyek a lineáris technológiához kötődnek, értelmüket vesztik ugyan, így a káros tartalmak sugárzásának tilalma a nappali órákban, de a szabályozás célja nem válik érvénytelenné: a kiskorúakat továbbra is meg kell óvni a káros tartalmaktól, csak másféle rendelkezésekkel.
A pénzügyi fogyasztóvédelemben, amely területen a robottanácsadók tevékenykednek, a szabályozás kettős célt szolgál: a befektetők védelmét és a pénzügyi piacok stabilitását.[74]
A második szinten ezeket a célkitűzéseket megvalósító szabályok tömege található, nagyon eltérő absztrakciós szinttel. A szakirodalom ezeket a szabályokat szokásosan három csoportba sorolja.[75] Az első csoportba az engedélyezés szabályai tartoznak: a pénzügyi közvetítőknek tevékenységüket engedélyeztetni kell, és ennek során bizonyos kritériumoknak meg kell felelniük. A második szabálycsoport a köz-
- 125/126 -
vetítők belső struktúrájára, szervezetére és működésére vonatkozik: ilyenek például az összeférhetetlenségi szabályok, bizonyos nyilvántartások vezetésének kötelezettsége, bizonyos dokumentumok, adatok archiválásának, jelentések benyújtásának kötelezettsége a szabályozó hatóságnak stb. A harmadik csoport a befektetőkkel való bánásmód kérdéseit rendezi, például a megfelelő tájékoztatás előírásait, vagy a szakmailag kompetens, az ügyfél érdekét szem előtt tartó, személyre szabott tanácsadás kötelezettségét. Az amerikai szabályozás hasonló megoldásokkal operál, a szakértelem ('competence'), az őszinteség ('honesty') és az odaillőség ('suitability') elveivel.[76] Világos, hogy a robottanácsadók megjelenése a szabályozás célját és elveit nem érinti. A befektetővédelem és a pénzügyi piacok stabilitása továbbra is érvényes célkitűzések. A második szinten azonban nyilvánvaló, hogy a szabályokat csak kisebb vagy nagyobb átértelmezéssel lehet majd alkalmazni, illetve azok teljesen értelmüket vesztik. Az első csoportban, amelyben a szabályok alapvetően jól működhetnek a jövőben is, csak át kell értelmezni a tágabb kontextusukat, például ide olyan rendelkezések sorolhatók, amelyek a befektetők megfelelő tájékoztatására vonatkoznak. Ezek a kötelezettségek nem változnak meg alapjaikban, de ahogy azt a holland felügyelet anyaga tartalmazza, a megfelelő tájékoztatás a robottanácsadók kontextusában inkább jelent például olyan figyelmeztetéseket, mint amilyen az ügyfél következetlensége vagy az interaktív, felugró ablakokkal operáló súgók. Nem lesznek értelmezhetők azok a rendelkezések, amelyek alapvetően a személyes kontaktust tartják szem előtt. Ugyanígy, nagyobb átértelmezéssel, de lehet értelme az engedélyezéssel kapcsolatos szabályoknak is, amelyekről még szólok. Lesz egy sor szabály ezenkívül, amely egyáltalán nem értelmezhető a robottanácsadói kontextusban, ezek nagyobbrészt a szervezeti és eljárási normák.
Nemcsak az nem eldöntött egyelőre, hogy kire vonatkozzanak azok a szabályok, amelyekkel a mesterséges intelligenciát koordinálni szeretnék, hanem az sem, hogy egyáltalán a hagyományos értelemben vett szabályokkal kell-e ezt a területet kontrollálni. Miről van szó?
Már korábban is több helyen felvetődött, hogy a robottanácsadókat, ahogy a többi MI-t és automatát is kódok vezérelnek, és nem jogi szabályok. Ez a meglátás nagyon triviálisnak hat, de a következményeit kevesen gondolják végig. Az MI nem képes "magától" betartani egy jogi szabályt, egy elvet vagy egy előírást (pl. hogy ne legyen elfogult, vagy hogy tisztességes és ne félrevezető tájékoztatást adjon) - ezt valakinek le kell fordítania a kódok nyelvére. Másképp: a szoftverekkel, automatákkal, mesterséges intelligenciákkal kapcsolatban a "megfelelési szabályok" valójában kódokra, azaz szoftverekre vonatkozó követelményeket jelentenek: vagy a kódok által létrehozott kimenetekről szólókat, vagy egyenesen a működésükre vonatkozókat. Bármelyik legyen is igaz, ez mindenképpen olyan technikai szabályokat jelent,
- 126/127 -
amelyekhez speciális szakértelem szükségeltetik. Ez a magyarázata annak, hogy egyre többen sürgetik a megfelelő kompetencia kiépítését a szabályozó hatóságoknál, hogy ezek képesek legyenek a szoftverek, az automaták, az MI megfelelőségét is ellenőrizni: azaz ezeket a szoftvereket auditálni. Baker és Dellaert például cikkükben egyenesen azt állítják, hogy a szabályozóknak "eljárásokat kell kidolgozniuk a (robottanácsadók) értékelésére, beleértve azoknak az algoritmusoknak és eljárásoknak az értékelését, amelyek személyre szabottan rangsorolják a pénzügyi termékeket a vevők számára, a fogyasztókkal és a pénzügyi termékekkel kapcsolatos adatokat, amelyeket az algoritmusok használnak, azokat a felületeket, amelyeken keresztül a tanácsadás megvalósul, és a fogyasztó választ, és az ezekkel kapcsolatos infrastruktúrát".[77] A kódok kontrollálása, a szoftverek auditálása minden olyan szabályozó hatóságnál fel fog merülni, amelynek a területén MI-k tevékenykednek. Márpedig egy-két évtizeden belül lényegében alig marad olyan terület, amelyen ne lennének ilyen szoftverek.
Az utolsó probléma, amelyet az MI szabályozása kapcsán felvetek, az az, amelyik azt firtatja, hogy vajon elegendő lesz-e egy általános Mi-szabályozás ("robottörvény") vagy sem.[78] Az eddigiekből elég világosan kitűnt az álláspontom: aligha hiszem, hogy egy ilyen törvénybe valóban hasznos és értelmes dolgokat lehetne beleírni. A robottanácsadók speciális területe ezt kiválóan illusztrálja. Itt is arról van szó, hogy az itteni életviszonyok, szabályozási területek kockázatai, belső dinamikája és eddigi jogi környezete befolyásolja, hogy hogyan is történik majd a jövőben az MI-vel kapcsolatos konkrét szabályozás. Még afelől is komoly kétségeim vannak, hogy a nagyon általánosnak és minden területre érvényesnek szánt etikai kódexek minden rendelkezése is értelmes-e bizonyos területeken. Szinte az összes etikai kódex tartalmazza például azt az elvárást, hogy az MI működése legyen transzparens, vagy hogy a döntései (valójában kimeneti állapotai) legyenek megmagyarázhatók. Amellett, hogy ez a kívánalom az összes európai államban - a GDPR automatikus döntéshozatallal kapcsolatos szabálya révén - már jelenleg is a tételes jog része, bizonyos területeken tökéletesen betarthatatlan és/vagy felesleges is. Gondoljunk egy autonóm járműre, amely szinte minden pillanatban hoz fontos és olykor a bent ülőkre komolyan kiható döntéseket, de a helyzet sajátosságára tekintettel ezek ellen igen nehéz lenne emberi beavatkozást kérni, vagy utólag a döntéshez vezető indokokat elmagyarázni. Ugyanígy: ha egy neurális hálón alapú orvosdiagnosztikai MI egy CT-felvétel alapján diagnózist állít fel, vajon hogyan lehet ennek a konkrét diagnózisnak a felállítási folyamatát megmagyarázni? Sehogyan, de nem is biztos, hogy kell. Ebben az esetben viszont nagyon is szükség lehet emberi megerősítésre,
- 127/128 -
még akkor is, ha tudjuk, hogy az ember szinte soha vagy nagyon kicsi valószínűséggel bírálja felül a diagnózist. A robottanácsadók esete igen hasonló ehhez. Természetesen azt megkövetelhetjük, hogy az ügyfél kapjon tájékoztatást arról, egyáltalán milyen instrumentumokat vesz figyelembe a robot, és milyen magas szintű elvekre van tekintettel, amikor újrasúlyozza a portfóliót, de annak bizonyára semmi értelme, hogy a konkrét javaslat statisztikai és matematikai levezetését is megadja.
Azt is láthattuk, hogy a "robotszabályoknak" elsősorban az adott terület jogi szabályozásának alapelveit, céljait kell figyelembe venni, de a konkrét megfelelési szabályokat egyenként kell végiggondolni. Mégpedig azzal a módszerrel, hogy melyek azok, amelyek csekély átértelmezéssel működhetnek, melyek azok, amelyeknek a magvát érdemes megtartani, de már a puszta átértelmezés nem elegendő, és melyek lesznek azok, amelyeket teljesen ki kell majd emelni a rendszerből. Ez természetesen területenként más és más lesz: ahogy láttuk, a robottanácsadók esetén az ügyféltájékoztatás és engedélyeztetés szabályai csekély átértelmezéssel alkalmazhatók, míg a szervezeti és eljárási megfelelés szabályait valószínűleg ki kell dobni hosszabb távon ebben a szektorban, illetve valószínűleg a robotok kódjaira vonatkozó követelményekkel kell majd helyettesíteni. Ugyanilyen aprómunkát igényel majd az összes többi terület is. Ezt az aprómunkát sajnos sem etikai kódexekkel, sem egy hangzatos robottörvénnyel nem lehet megspórolni. ■
JEGYZETEK
* A 2018-1.3.1-VKE-2018-00007 számú projekt a Nemzeti Kutatási Fejlesztési és Innovációs Alapból biztosított támogatással, a Versenyképességi és kiválósági együttműködések pályázati program finanszírozásában valósult meg. Jelen tanulmány a 129018. számú, "A jogrendszer reagálóképessége 2010-2018" című NKFIH pályázat keretében készült.
[1] Ryan Calo - A. Michael Froomkin - Ian Kerr (szerk.): Robot Laws (Chatelham, Northampton: Edgar Elgar 2016); Ugo Pagallo: The Laws of Robots, Crimes, Contracts and Tort (Cham: Springer 2013), Jacob Turner: Robot Rules, Regulating Artificial Intelligence (Cham: Palgrave MacMillan 2019), Vanessa Mak - Eric Tjong Tjin Tai - Anna Berlee (szerk.): Research Handbook in Data Science and Law (Chatelham, Northampton: Edgar Elga, 2018), magyarul: Ződi Zsolt: Platformok, robotok és a jog. Új szabályozási kihívások az információs társadalomban (Budapest: Gondolat 2018).
[2] Elsősorban az USA szabályozására koncentrálva: Andrea L. Seidt - Noula Zaharis - Charles Jarrett: "Paying Attention to That Man behind the Curtain: State Securities Regulators' Early Conversations with Robo-Advisers" University of Toledo Law Review 2019 (50) 501-524., Bret E. Strzelczyk: "Rise of the Machines: The Legal Implications for Investor Protection with the Rise of Robo-Advisors" DePaul Business & Commercial Law Journal, 2017 (16) 54-86., Megan Ji: "Are Robots Good Fiduciaries: Regulating Robo-Advisors under the Investment Advisers Act of 1940" Columbia Law Review 2017 (117) 1543-1584., Nicole G. Iannarone: "Computer as Confidant: Digital Investment Advice and the Fiduciary Standard" Chicago-Kent Law Review 2018 (93) 141-163., John Lightbourne: "Algorithms & Fiduciaries: Existing and Proposed Regulatory Approaches to Artificially Intelligent Financial Planners" Duke Law Journal 2017 (67) 651-680., Melanie L. Fein: "How are Robo-Advisors Regulated?" SSRN (2017): https://ssrn.com/abstract=3028232, és az európai helyzetet is feldolgozza: Philipp Maume: "Regulating Robo-Advisory" Texas International Law Journal 2019 (55) 49-88.
[3] Ld. az Algorithmwatch weboldal AI Ethics Guidelines Global Inventory aloldalát, amelyen e cikk írása idején éppen nyolcvan ilyen etikai kódex volt megtalálható: http://algorithmwatch.org/en/project/ai-ethics-guidelines-global-inventory/
[4] Joseph Konstan - John Riedl: Szájtpropaganda (Budapest: KJK-Kerszöv 2004).
[5] Az amerikai felügyelet és jogi szabályozás kérdéseiről ld.: 2. lj.
[6] Európai Bankfelügyelet - European Banking Authority (EBA), az Európai Értékpapír-piaci Hatóság - European Securities and Markets Authority (ESMA) és az Európai Biztosítás- és Foglalkoztatóinyugdíj-hatóság - European Insurance and Occupational Pensions Authority (EIOPA) - együttesen az Európai Felügyeleti Hatóságok - European Supervisory Authorities (ESAs).
[7] 2004/39/EK irányelv a pénzügyi eszközök piacairól (MiFID I).
[8] Az Európai Parlament és a Tanács 2014/65/EU irányelve (2014. május 15.) a pénzügyi eszközök piacairól, valamint a 2002/92/EK irányelv és a 2011/61/EU irányelv módosításáról (MiFID II).
[9] A Bizottság (EU) 2017/565 felhatalmazáson alapuló rendelete (2016. április 25.) a 2014/65/EU európai parlamenti és tanácsi irányelvnek a befektetési vállalkozások szervezeti követelményei és működési feltételei, valamint az irányelv alkalmazásában meghatározott kifejezések tekintetében történő kiegészítéséről (MiFID II VHR).
[10] Így kiadott egy anyagot a Holland Pénzügyi Felügyelet, az AFM (AFM Guidance on the duty of care in (semi)automatedportfolio management, 2018. augusztus 15., www.afm.nL/~/profmedia/files/onderwerpen/roboadvies-sav/guidance-duty-care.pdf, [AFM 2018]), az Európai Felügyeletek pedig (ESAs) egy vitaanyagban (Joint Committee Discussion Paper on automation in financial advice, JC 2015 080, 2015. december 4. http://eiopa.europa.eu/Publications/Consultations/JC%202015%20080%20Discussion%20Paper%20on%20automation%20in%20financial%20advice.pdf [ESA DP 2015]), majd két jelentésben (Report on automation in financial advice, http://esas-joint-committee.europa.eu/Publications/Reports/EBA%20BS%202016%20422%20(JC%20SC%20CPFI%20Final%20Report%20on%20automated%20advice%20tools.pdf [ESA R 2016], valamint Joint Committee Report on the results of the monitoring exercise on 'automation in financial advice JC 2018-29 2018. szeptember 5. http://esas-joint-committee.europa.eu/Publications/Reports/JC%202018%2029%20-%20JC%20Report%20on%20automation%20in%20financial%20advice.pdf [ESA R 2018]) foglalkoztak a témával.
[11] Pl. ESA DP 2015 (10. lj.).
[12] ESA DP 2015 (10. lj.).
[13] ESA R 2016, az ESA R 2018 (10. lj.).
[14] ESA DP 2015 (10. lj.) 12.
[15] ESA R 2016 (10. lj.) 4.
[16] Az Európai Parlament és Tanács (EU) 2016/679 rendelete (2016. április 27.) a természetes személyeknek a személyes adatok kezelése tekintetében történő védelméről és az ilyen adatok szabad áramlásáról, valamint a 95/46/EK rendelet hatályon kívül helyezéséről (általános adatvédelmi rendelet - GDPR).
[17] 2011. évi CXII. törvény az információs önrendelkezési jogról és az információszabadságról.
[18] 2007. évi CXXXVIII. törvény a befektetési vállalkozásokról és az árutőzsdei szolgáltatókról, valamint az általuk végezhető tevékenységek szabályairól.
[19] 4. cikk (1) bek. 9-11. pontok.
[20] GDPR Preambulum 60., 63., 71. bekezdés, 21-22. cikk.
[21] Preambulum 71, 22. cikk (1) bek.
[22] 22. cikk.
[23] 22. cikk.
[24] MCD (Mortgage Credit Directive) - Az Európai Parlament és a Tanács 2014/17/EU irányelve (2014. február 4.) a lakóingatlanokhoz kapcsolódó fogyasztói hitelmegállapodásokról, valamint a 2008/48/ EK és a 2013/36/EU irányelv és az 1093/2010/EU rendelet módosításáról).
[25] IDD (Insurance Distribution Directive) - Az Európai Parlament és a Tanács (EU) 2016/97 irányelve (2016. január 20.) a biztosítási értékesítésről.
[26] PSD (Payment Services Directive) - Az Európai Parlament és a Tanács (EU) 2015/2366 irányelve (2015. november 25.) a belső piaci pénzforgalmi szolgáltatásokról és a 2002/65/EK, a 2009/110/ EK és a 2013/36/EU irányelv és a 1093/2010/EU rendelet módosításáról, valamint a 2007/64/EK irányelv hatályon kívül helyezéséről
[27] PRIIPs (Packaged Retail and Insurance based Investment Product Regulation) - Az Európai Parlament és a Tanács 1286/2014/EU rendelete (2014. november 26.) a lakossági befektetési csomagtermékekkel, illetve biztosítási alapú befektetési termékekkel kapcsolatos kiemelt információkat tartalmazó dokumentumokról.
[28] MiFID II 4. cikk. (1) bek. 4. pont.
[29] Pl. MiFID II 24. cikk (4) bek. a) pont.
[30] MiFID II 24. cikk (7) bek. a) pont.
[31] MiFID II 25. cikk (2) bek.
[32] MCD 22. cikk.
[33] IDD 29-30. cikkek.
[34] MiFID II 24. cikk (3) bek.
[35] Conduct of Business, fair, clear and not misleading information, Peer Review Report, ESMA/2014/1485 - http://www.esma.europa.eu/sites/default/files/library/2015/11/2014-1485_peer_review_report_-_MiFID_-_conduct_of_business_fair_clear_and_not_misleading_information.pdf (ESMA 2014).
[36] Consultation Paper Guidelines on certain aspects of the MiFID II suitability requirements 13 July 2017 | ESMA35-43-748, www.esma.europa.eu/sites/default/files/library/2017-esma35-43-748_-_cp_on_draft_guidelines_on_suitability.pdf (ESMA 2017).
[37] Guidelines on certain aspects of the MiFID II suitability requirements, ESMA 35-43-1163, http://www.esma.europa.eu/sites/default/files/library/esma35-43-1163_guidelines_on_certain_aspects_of_MiFID_ii_suitability_requirements_0.pdf (ESMA 2018a).
[38] Final Report Guidelines on certain aspects of the MiFID II suitability requirements (28 May 2018 ESMA35-43-869) -www.esma.europa.eu/press-news/esma-news/esma-publishes-final-guidelines-MiFID-ii-suitability-requirements (ESMA 2018b).
[39] Az MCD irányelvhez hasonlóan, ld. 24. lj.
[40] MiFID II VHR (9. lj.).
[41] Részletes elemzését magyarul ld. Ződi Zsolt: "Privacy és Big Data" Fundamentum 2017/1-2. 18-30.
[42] Ld. 9. lj. A kép teljességéhez hozzá kell tenni, hogy a MIFID ezen aspektusaival az Európai Értékpapír-piaci Hatóság (ESMA) is foglalkozott az anyagaiban (ld. a 34. és a 35. lábjegyzeteket). Az MNB 2019 tavaszán jelentette meg magyar nyelvű ajánlását. A Magyar Nemzeti Bank 10/2019. (IV.15.) számú ajánlása a befektetési szolgáltatás nyújtása során irányadó előzetes tájékozódási kötelezettség megfelelő teljesítésének egyes szempontjairól, http://www.mnb.hu/letoltes/10-2019-taje-kozodasi-kotelezettseg.pdf.
[43] ESMA 2017 (36. lj.) 18-27. bekezdések.
[44] ESMA 2018a (37. lj.).
[45] Uo. 32. bekezdés.
[46] ESMA 2017 (36. lj.).
[47] AFM 2018 (10. lj.).
[48] MNB 2019 (42. lj.) 8-9. és 20. pontok.
[49] Uo. 8. pont.
[50] Uo. 9. pont.
[51] Uo. 20. pont.
[52] A "robottanácsadó" elnevezés természetesen nem pontos, mert az egyre inkább meggyökeresedő európai uniós zsargonban (pl. A parlament ajánlásai a robotika polgári jogi szabályairól: Report with recommendations to the Commission on Civil Law Rules on Robotics - https://www.europarl.europa.eu/doceo/document/A-8-2017-0005_EN.htmt) "robot" csak testtel rendelkező mesterséges intelligencia lehet. A "robottanácsadó" ugyanakkor ezeknek az alkalmazásoknak egy, az USA-ból kiindult köznapi elnevezése, és természetesen olyan (fizikai kiterjedéssel nem rendelkező) algoritmusokat jelent, amelyre a pontos EU-s terminológia alapján nem robotok. Nem akartam ugyanakkor a bevett terminológiától eltérni.
[53] Seidt et al. (2. lj.) 501-502.
[54] Statement on Algorithmic Transparency and Accountability, Association for Computing Machinery, US Public Policy Council (USACM), www.acm.org/binaries/content/assets/public-policy/2017_usacm_statement_algorithms.pdf
[55] Laurel D. Riek - Don Howard: A Code of Ethics for the Human Robot Interaction, http://www3.nd.edu/~dhoward1/a-code-of-ethics-for-the-human-robot-interaction-profession-riek-howard.pdf.
[56] Digital Ethics - a Guide for Professionals of the Digital Age, Cygref - Syntec-Numerique, www.cigref.fr/wp/wp-content/uploads/2019/02/Cigref-Syntec-Digital-Ethics-Guide-for-Professionals-of-Digital-Age-2018-October-EN.pdf.
[57] Responsible use of artificial intelligence (AI), Republic of Canada, http://www.canada.ca/en/government/system/digital-government/modern-emerging-technologies/responsible-use-ai.html.
[58] Az EU számtalan anyagban foglalkozott a témával, a lényegesebbek:
A Bizottság egy korai, innovációs, gazdasági szempontú megközelítése: Commission Communication Digitising European Industry. Reaping the full benefits of a Digital Single Market jSWD(2016) 110 final) http://ec.europa.eu/transparency/regdoc/rep/1/2016/EN/1-2016-180-EN-F1-1.PDF. A Bizottság etikai szempontú megközelítése: Artificial Intelligence for Europe (Communication from the Commission... SWD(2018) 137 final http://ec.europa.eu/digital-single-market/en/news/communication-artificial-intelligence-europe. Ugyanígy, egy etikai szempontú bizottsági dokumentum: Communication from the Commission to the European Parliament, the Council, the European Economic and Social Committee and the Com-mittee of the Regions: Building Trust in Human-Centric Artificial Intelligence, COM (2019) 168 final 1 http://eur-lex.europa.eu/legal-content/GA/TXT/?uri=-CELEX:52019DC0168.
A 2018-ban létrehozott Magas Szintű Szakértői Csoport AI High Level Expert Group (AI HLEG) anyaga: Ethics guidelines for trustworthy AI, High-Level Expert Group on Artificial Intelligence, 8 April 2019 http://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai. A parlament ajánlásai a robotika polgári jogi szabályairól: Report with recommendations to the Commission on Civil Law Rules on Robotics - http://www.europarl.europa.eu/doceo/document-/A-8-2017-0005_EN.html.
Végül a legutóbbi Fehér Könyv a mesterséges intelligenciáról: White Paper on Artificial Intelligence. A European approach to excellence and trust, 19 February 2020. http://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf.
[59] Az ET vonatkozó weboldala tizenhárom dokumentumot sorol fel, ezek közül hármat emelek ki: a Parlamenti Közgyűlés ajánlása: Technological convergence, artificial intelligence and human rights http://assembly.coe.int/nw/xm/XRef/X2H-Xref-ViewPDF.asp?FileID=23726&lang=en; Guidelines on Artificial Intelligence and Data Protection http://rm.coe.int/guidelines-on-artificial-intelligence-and-data-protection/168091f9d8; és a legfrissebb: Recommendation of the Committee of Ministers to member States on the human rights impacts of algorithmic systems, http://search.coe.int/cm/pages/result_details.aspx?objectid=09000016809e1154.
[60] Klein Tamás - Tóth András: "A robotika egyes szabályozási kérdései" in Homicskó Árpád Olivér (szerk.): Egyes modern technológiák etikai, jogi és szabályozási kihívásai (Budapest: Károli Gáspár Református Egyetem Állam- és Jogtudományi Kar 2018) 95.
[61] Természetesen a tudományos irodalom behatóan foglalkozik a kérdéssel. Vö. Klein Tamás: "Robotjog" in Klein-Tóth (szerk.): Technológiajog - Robotjog - Cyberjog (Budapest: Wolters Kluwer 2018) 179-215., különösen 179-184.
[62] Stuart J. Russell - Peter Norvig: "Mesterséges intelligencia modern megközelítésében" (Budapest: Panem - Prentice Hall 2000) 34.
[63] Artificial Intelligence in Society, OECD Publishing, Paris, 2019. 27. http://doi.org/10.1787/eedfee77-en.
[64] Pl. ESMA 2018a 20. pont (37. lj.).
[65] GDPR Preambulum (71).
[66] Lásd például a Critical Enginieering Manifesto-t, https://criticalengineering.org/en; a "kinek szól a szabályozás" problémára reflektál a Digital Ethics anyag is. (54. lj.).
[67] A szabályozás eszközeinek kérdése, az analógiák alkalmazhatósága és az új szabályozási elemek bevezetésének a szükségessége kiemelt jelentőséggel merül fel a jogalanyiság és a felelősség kérdése körében, vö. Klein Tamás: "Robotjog" in Klein Tamás - Tóth András (szerk.): Technológia jog, robotjog, cyberjog (Budapest: Wolters Kluwer 2018). 179-215. és Udvary Sándor: "A non-humán ágensek (intelligens rendszerek) jogi szabályozása robotok, dedikált rendszerek (önvezető rendszerek)" in Homicskó Árpád (szerk.): A digitalizáció hatása az egyes jogterületeken (Budapest: KRE ÁJK 2020) 239-256.
[68] Ji 2017 (2. lj.).
[69] Iannarone 2018 és Lighbourne 2017 (2. lj.).
[70] Seidt et al. 2019 (2. lj.).
[71] Uo. 504.
[72] Koltay András: Az új média és a szólásszabadság. A nyilvánosság alkotmányos alapjainak újragondolása (Budapest: Wolters Kluwer 2019). 282.; Klein Tamás: "Az online diskurzusok egyes szabályozási kérdései" in Klein Tamás (szerk.): Tanulmányok a technológia- és cyberjog néhány aktuális kérdéséről. (Budapest: Nemzeti Média- és Hírközlési Hatóság Médiatanács Médiatudományi Intézete 2018).
[73] Vö. Klein Tamás: "Néhány gondolat a digitalizáció sajtószabadság tartalmára gyakorolt hatásáról" in Homicskó Árpád Olivér (szerk.): A digitalizáció hatása az egyes jogterületeken (Budapest: KRE ÁJK 2020), különösen 133-139.
[74] Ld. pl. MiFID II Preambulum (37).
[75] Maume 2019 (2. lj.) 74-75.
[76] Baker-Dellaert 2018 (2. lj.) 717.
[77] Uo. 718.
[78] Vö. Klein Tamás: "Homonculum regulare necesse est - Adalékok egy jövendő robotjog elé, különös tekintettel a jogalanyiság és a felelősség kérdésére" Jogtudományi Közlöny 2018/9. 380-391.
Lábjegyzetek:
[1] A szerző PhD, tudományos főmunkatárs, Nemzeti Közszolgálati Egyetem Eötvös József Kutatóközpont Információs Társadalom Kutatóintézet, 1083 Budapest, Ludovika tér 2.; tudományos munkatárs, Társadalomtudományi Kutatóközpont Jogtudományi Intézet, 1097 Budapest, Tóth Kálmán utca 4. E-mail: Zodi.Zsolt@uni-nke.hu.
Visszaugrás
