Megrendelés

Nagy Krisztina[1]: Facebook files - gyűlöletbeszéd törölve? A közösségi médiaplatformok tartalom-ellenőrzési tevékenységének alapjogi vonatkozásai[1] (PF, 2018/2., 115-136. o.)

Kulcsszavak: véleménynyilvánítás szabadsága, gyűlöletbeszéd, internetes forgalomirányító szolgáltatás, közösségi médiaplatform, tartalomszabályozás

A közösségi médiaplatformok elterjedése, a társadalmi kommunikáció online platformokon kialakuló új formája a gyűlöletbeszéd jelenségét is új dimenzióba helyezte.[2] A felhasználók által az online platformokon megosztott gyűlöletkeltő közlések kezelése nem pusztán a növekvő mennyiség és a közlések rendkívül gyors terjedése miatt jelent új kihívást, hanem az online kommunikáció globális természete miatt is. A platformokat működtető internetes forgalomirányító szolgáltatások (Facebook, Twitter stb.) ma már az online kommunikáció megkerülhetetlen szereplői, az interneten zajló információáramlás nagy része ezeken a platformokon keresztül zajlik. A közösségi médiaplatformok szolgáltatói új információs kapuőrként jelennek meg a nyilvánosság működésében azzal, hogy az általuk meghatározott algoritmusok irányitják, szűrik a felhasználók által elérhető online tartalmakat. A szolgáltatók a platformokon megosztott tartalmak ellenőrzése körében, az általuk kialakított szabályok alapján törölnek, blokkolnak tartalmakat. Tevékenységük mindezek alapján komplex módon érinti az alapjogok, köztük a szólásszabadság érvényesülését. Amikor egy platform gyűlöletbeszéd miatt töröl egy felhasználói tartalmat, a véleménynyilvánítás szabadságát érintő döntést hoz, korlátozza azt mások jogainak védelme érdekében, azaz alapjogi konfliktusban hoz döntést, alakítja a szólás határait.

- 115/116 -

A közösségi médiaplatformok jelenlegi tartalom-ellenőrzési tevékenységével összefüggésben komoly alapjogi aggályként fogalmazható meg, hogy a platformok által jogsértőnek vagy a platform szabályait sértőnek ítélt tartalmak törlése a nyilvánosság által nem megismerhető formában zajlik. Nem tudható pontosan, hogy milyen kritériumok alapján, milyen eljárásban, hogyan születik döntés a tartalom törléséről vagy hozzáférhetetlenné tételéről. Hiányoznak azok az eljárási garanciák, amelyek az alapjogok nemzetközi védelme alapján egyébként szükséges feltételei az alapjogi konfliktus megfelelő feloldásának. A közösségi médiaplatformokra vonatkozó jelenlegi szabályozási megoldások tevékenységük alapjogi érintettségét nem veszik figyelembe, így mindenekelőtt nem biztosítják a forgalomirányítók törlési tevékenységének átláthatóságát és az elszámoltathatóságot.[3]

Ezért is volt különös jelentősége annak, hogy sajtószivárogtatás útján nyilvánosságra került a Facebook belső szabályzata, amely alapján a Facebook dönt a felhasználók által sérelmesnek ítélt és bejelentett tartalmak törléséről. A német Facebook-közösség kommunikációját felügyelő csapat belső szabályzatát kiszivárogtató Süddeutsche Zeitung[4] után a Guardian 2017 tavaszán hozott nyilvánosságra részleteket az angol nyelvű, általános moderátori kézikönyvből.[5] Ez rögzíti a törlés feltételeit, szempontjait a gyűlöletkeltő közlések mellett többek között a terrorizmust segítő és a holokauszttagadó közlésekre, valamint a gyermekbántalmazást ábrázoló tartalmakra vonatkozóan. A kiszivárogtatott dokumentumok bepillantást engednek a Facebook tartalom-ellenőrzési tevékenységébe, és feltárják azokat a szempontokat, amelyeket a Facebook mérlegel a felhasználók véleménynyilvánítási szabadságának korlátozása során.

Az alábbi tanulmányban megvizsgálom a gyűlöletbeszéd jelenségét az új médiakörnyezetben, valamint az online platformok felelősségének szabályozási rendjét. Röviden bemutatom a gyűlöletbeszéd jogi szabályozásának legfontosabb elemeit, elsősorban a nemzetközi jogban fellelhető szabályozási keretet. Az alapjogi elemzés tárgyául a tanulmány a legnagyobb közösségi médiaplatform, a Facebook működését választotta. A Facebook moderátori kézikönyvének mélyebb elemzése alapján azt vizsgálom, hogy hol húzódik a Facebook által kijelölt határ a sértő, ízléstelen, trágár, de megengedett és a tiltott gyűlölködő közlések között. Azt is elemzem, hogy a gyűlölködő közlések esetén a Facebook által alkalmazott beavatkozási küszöb, a véleményszabadság határának kijelölése hogyan igazodik a gyűlöletbeszéd területén az alapjog-korlátozás nemzetközi sztenderdjeihez. Vizsgálom továbbá, hogy a Facebook, mint a legtöbb felhasználót kiszolgáló közösségi médiaplatform tartalomellenőrzési tevékenységével összefüggésben milyen szabályozási igény merül fel az alapjogi garanciák biztosítása érdekében.

- 116/117 -

1. Gyűlöletbeszéd a közösségi médiaplatformokon

1.1. A gyűlölet új, globális csatornái

A közösségi média megkönnyíti a kölcsönös visszajelzést és az emberek közötti hálózatosodást, a közös értékek, ideológiák mentén a különböző csoportok fizikai tértől független szerveződését, a csoportokon belüli aktív kommunikációt. Ezek a csatornák nemcsak a demokratikus értékeket elfogadó megnyilvánulásoknak biztosítanak olcsó és gyors útvonalat, hanem a gyűlölködő indulatok széles terjesztésére, a gyűlölet kultúrája melletti toborzásra is lehetőséget adnak.[6] A politikai véleménynyilvánítás új színtere az internet, amely széles lehetőséget kínál a politikai, közéleti témakörök társadalmi megvitatására, egyben új kihívást jelent a szólásszabadság által védett politikai-közéleti vélemények és a tiltott gyűlöletkeltő közlések elhatárolásában. Az internet szabadságával összefüggésben a gyűlöletbeszéd azért is minősül kényes témának, mert a közéleti-politikai diskurzussal szoros kapcsolatban, legtöbbször abba ágyazódva jelenik meg. Ebből is következően az, hogy mi számít tiltott, már a gyűlöletkeltés kategóriájába sorolható közlésnek, erősen lokális, kontextusfüggő megítélés alá esik. Ezt az ország- és kultúrafüggő megközelítést kezdi ki az internet által kínált globális kommunikációs környezet, amely a gyűlöletbeszéd korlátozására vonatkozó eddigi szabályozási keret újragondolásának igényét veti fel.

A gyűlöletbeszéd a véleménynyilvánítás szabadságát érintő kérdés, tiltása az emberi jogok nemzetközi védelmét megteremtő, jogi kötőerővel bíró dokumentumokon nyugszik. Ugyanakkor a nemzetközi jogi keret lehetőséget ad arra, hogy az egyes államok önállóan alakítsák a tiltott gyűlöletkeltő közlések határait. Fontos hangsúlyozni, hogy a gyűlöletbeszéd szabályozását erősen befolyásolják az eltérő történelmi tapasztalatok, az adott ország társadalmi, kulturális állapota, amelyből következően a közlés megengedett határa sem egyforma a különböző országokban. Az amerikai jogi megközelítés például megengedő a gyűlöletkeltő közlésekkel szemben, csak kivételes esetekben ad lehetőséget a korlátozásra, az európai gyakorlat ugyanakkor sokkal szigorúbb korlátokat állít fel a gyűlöletbeszéddel szemben.[7] (Jól illusztrálja ezt a különbséget, hogy míg számos országban a holokauszttagadás törvényileg tiltott közlésnek számít, addig az Egyesült Államokban önmagában egy ilyen közlés nem számít jogsértőnek.) A gyűlöletbeszéd történelmi és kulturális meghatározottsága, a szabályozási környezet töredezettsége nehezíti a globális csatornákon zajló kommunikációban megjelenő gyűlölködő közlések egységes kezelését.

- 117/118 -

1.2. Az online platformok felelőssége a felhasználók által megosztott tartalmakért

Az online gyűlöletkeltés kezelése és a közösségi médiaplatformok működése, a platformokon zajló kommunikációért való felelősségük szabályozása szorosan összefüggő kérdések. Érdemes tehát megvizsgálni a platformok felhasználók által megosztott jogsértő tartalmakért való felelősségére vonatkozó szabályozási rendet. Ezek a szolgáltatások nem hagyományos médiaszolgáltatások, nem végeznek klasszikus szerkesztőségi tevékenységet, nem válogatnak előzetesen a platformon megjelenő információk között. Jogi minősítésük szerint ún. közvetítő szolgáltatók,[8] akikkel összefüggésben a tartalomért való felelősség kérdése közvetve, azaz a felületeiken megjelenő, mások által közzétett - de a szolgáltatók technikai és jogi uralma alatt álló platformon terjesztett - tartalmak vonatkozásában merül fel. Az olyan közösségi médiaplatformok, mint a Facebook vagy a Twitter felelőssége a felhasználók által közzétett jogsértő tartalmakért azonban nem egységes a világban.[9] Szemben az amerikai szabályozási megoldással, amely széles immunitást biztosít a közvetítő szolgáltatók számára a felhasználók által közzétett jogsértő tartalmak tekintetében,[10] az európai szabályozási keret a közvetett jogi felelősség szigorúbb rendjét követi. A feltételes jogi felelősség szabályozási keretét megteremtő európai uniós irányelv[11] alapján a közösségi médiaplatformok csak abban az esetben felelősek a felhasználók által közzétett jogsértő tartalmakért, ha a jogsértő tartalmat az arról való tudomásszerzést követően nem távolítják el. Az európai szabályok alapján sem kötelesek a platformok előzetesen szűrni a felhasználók által közzétett tartalmakat, nincsenek előzetes kontrollra kötelezve.

A közösségi médiaplatformokon megjelenő gyűlöletbeszéd elleni fellépést a jogi szabályozási környezet mellett a szolgáltatók saját szabályozási tevékenysége is alakítja. A szolgáltatók általános szerződési feltételei rögzítik azokat a magatartási szabályokat, amelyeket a szolgáltató elvár a felhasználóktól a platformok igénybevétele során. E szabályok reagálnak a jogi szabályozási környezetre, részben a közvetett felelősségi rend érvényesítése a céljuk, de a megfogalmazásuk mögött egyéb üzleti, piaci érdekek is húzódnak. A Facebook a platform biztonságos használata körében írja elő a felhasználók számára, hogy nem tehetnek közzé gyűlöletbeszédtartalmat, illetve rögzíti, hogy a magatartási szabályokat megsértő tartalmakat törli.[12]

- 118/119 -

A közösségi médiafelületeken a gyűlölködő közlések elszaporodása új helyzetet teremtett, és kihívás elé állítja mind a szolgáltatókat, mind az állami döntéshozókat. Az Európai Unióban a 2000-es évek elején kialakított felelősségi, szabályozási keret már kevéssé ad megfelelő megoldást az időközben jelentősen átalakult online kommunikációs környezetben. Erre utalnak azok az intézkedések is, amelyek az elmúlt években új irányokat nyitottak a megoldáskeresésben. Ebben a folyamatban egy állomásnak volt tekinthető az a német kormány által indított kezdeményezés, amely külön megállapodásban rendezte a közösségi médiafelületeken megjelenő gyűlöletkeltő tartalmak szűrését. 2015 őszén az Európába érkező menekülthullám hatására Németországban a közösségi médiaplatformokon jelentősen megnőtt az idegenellenes, menekültek ellen irányuló gyűlölködő közlések mennyisége. Gyors reakcióként a német kormány tárgyalásokat kezdett a nagy platformszolgáltatókkal, majd az év végén megállapodott a Facebookkal, a Twitterrel és a Google-lel a gyűlölködő közlések hatékonyabb kezeléséről. A megállapodás eredményeként a szolgáltatók vállalták, hogy nem pusztán a felhasználási feltételekben rögzített korlátok alapján szűrik a tartalmat, hanem a német büntetőjogi korlátokat is figyelembe veszik a bejelentések vizsgálata során.[13] A Facebook a szigorúbb kontroll biztosítására Németországban működő önálló monitorcsoportot bízott meg.[14]

A német megoldás 2016-ban európai szinten is megjelent. Az Európai Bizottság 2016 tavaszán megállapodást kötött négy nagy platformszolgáltatóval, a Facebookkal, a Twitterrel, a Microsofttal és a YouTube-bal az illegális gyűlöletkeltő tartalmak online terjedésének megakadályozására.[15] A megállapodás az e-kereskedelmi irányelv logikáját követve, azaz a feltételes felelősségi rendhez igazodva az illegális gyűlölködő közlések esetére határoz meg részletszabályokat, és jelöli ki a szolgáltatók feladatait e tartalmak terjedésének megakadályozásában.[16]

Újabb állomást jelentett a folyamatban az a német parlament által 2017-ben elfogadott törvény,[17] amely szigorított a korábbi szabályozási renden és további részletszabályokat fogalmazott meg az interneten megjelenő gyűlöletkeltő közlések elleni hatékonyabb fellépés érdekében. A törvény a nagy létszámú, legalább kétmillió regisztrált német felhasználót kiszolgáló közösségi médiaplatformok működtetőinek felelősségét rögzíti abban az esetben, ha a szolgáltatók nem törlik a nyilvánvalóan jogsértő gyűlöletkeltő tartalmakat a bejelentést követő rövid törvényi határidőkön belül. A szabályozás újdonsága, hogy a törvény nagy összegű bírság kiszabását is lehetővé teszi a törlési kötelezettséget elmulasztó szolgáltatókkal szemben.

A Németországban heves vitákat kiváltó törvényt elsősorban az alapjogi garanciák hiánya miatt éri sok kritika azon az alapon, hogy a törvény úgy teremt szigorúbb

- 119/120 -

felelősségi rendet a platformszolgáltatók számára, hogy nem biztosít megfelelő garanciákat a szolgáltatók túlzott törlési tevékenységével szemben.[18] A komoly szankciók lehetősége a szolgáltatókat a túlzott törlés irányába viheti el, ami a felhasználók véleménynyilvánítási szabadságának jogsértő korlátozását okozhatja.[19] Kritikaként fogalmazódik meg, hogy a törvény privatizálja a jogalkalmazást, a platformokon megjelenő kifogásolt tartalmak jogszerűségéről szóló döntést a jogállami keretben működő jogalkalmazó szervek helyett a platformokra bízza. Márpedig az illegális gyűlöletbeszéd megítélése, a beavatkozás mércéje jogalkalmazói felkészültséget, sok szempontú mérlegelést igényel.

2. A gyűlöletbeszéd szabályozása

A gyűlöletbeszéd fogalmát, pontos tartalmát jogszabály nem határozza meg.[20] A jelenséget tágabb kontextusban vizsgálva a gyűlöletbeszéd kategóriájába az olyan közlések tartoznak, amelyekkel a közlő - "általában előítélettől vagy gyűlölettől vezérelve - a társadalom faji, etnikai, vallási, nemi csoportjairól, vagy azok egyes tagjairól a csoporthoz tartozásukra tekintettel mond olyan véleményt, amely sértheti a csoport tagjait és gyűlöletet kelthet a társadalomban a csoporttal szemben".[21] A gyűlöletbeszéd azon túl, hogy nehezíti a szabad identitásválasztást, bénító, megfélemlítő erővel hat és sérti az érintett közösség tagjait, kisebbségellenes indulatokat gerjeszt, antidemokratikus társadalmi folyamatokat erősít, felerősíti a többségi társadalomban a racionális érvelést nem tűrő negatív előítélet-képzést. Olyan "mérgezett" közéletet eredményez, ahol elfogadottá válik az intoleráns beállítódás, az ellenségkeresés, a demokratikus intézményrendszer megkérdőjelezése.[22]

A gyűlöletbeszéd társadalmi kockázatai nem függetlenek az adott társadalom körülményeitől, kulturális állapotától, ami nyilvánvalóan befolyásolja a gyűlöletbeszéd jogi szabályozását is. Az országok különböző jogi megoldásainak közös minimumot adó nemzetközi jogi keret az állami beavatkozás általános feltételeit rögzíti, és teremt alapot a jogi szabályozás számára. Az ENSZ Polgári és Politikai Jogok Nemzetközi Egyezségokmányának (a továbbiakban: PPJNE) 20. cikk (2) bekezdése arra kötelezi a tagállamokat, hogy törvényben tiltsák meg "a nemzeti, faji vagy vallási gyűlölet bármilyen hirdetését, amely megkülönböztetésre, ellenségeskedésre vagy

- 120/121 -

erőszakra izgat".[23] A nemzetközi jogi keret lehetőséget ad az államoknak, hogy a gyűlöletbeszéd ellen büntető-, polgári és közigazgatási jogi eszközöket építsenek be a jogrendszerükbe. A szabályozás kialakítása során a tagállamoknak figyelembe kell venniük az alapjogok korlátozására vonatkozó elveket, a véleménynyilvánítás szabadsága csak az elérni kívánt legitim céllal arányosan és a szükséges mértékben korlátozható. A véleménynyilvánítás korlátozása mögött végső soron az egyenlő emberi méltóság védelme áll.

A legsúlyosabb korlát nyilvánvalóan a büntetőjogi szabályozás, amiből következően büntetőjogi eszközök csak a súlyos jogsértések esetében alkalmazhatók. Ezzel szemben a polgári jogi és a közigazgatási jogi eszközök alkalmazására alacsonyabb beavatkozási küszöb mellett is sor kerülhet. A büntetőjogi beavatkozás mellett számos ország - köztük Magyarország is - polgári jogi és közigazgatási jogi eszközöket is biztosít a gyűlölködő közlések ellen. A közigazgatási jog területéhez sorolhatók például azok a médiajogi szabályok, amelyek a médiaszolgáltatásokban megjelenő gyűlölködő közlések korlátozását célozzák, és médiajogi szankcióval sújtják a gyűlöletkeltésnek teret adó médiumokat.[24]

Tekintettel arra, hogy a büntetőjogi beavatkozás minősül a szóláskorlátozás legsúlyosabb formájának, a nemzetközi jogi dokumentumok és a joggyakorlat elsősorban a büntetőjogi mércéhez fogalmaznak meg olyan követelményeket, szempontokat, elveket, amelyek a nyilvános szólás határainak kialakításában orientálják a tagállamok jogalkotását és jogalkalmazási gyakorlatát. Az ENSZ emberi jogi főbiztosának jelentése, amely a megkülönböztetésre, ellenségeskedésre, erőszakra buzdító nemzeti, faji, vallási gyűlölet hirdetése elleni fellépéshez kapcsolódik,[25] három közlési kategóriát említ: "Az első kategóriába sorolhatók azok a közlések, amelyek büntetőjogi eszközökkel fenyegetettek, a második kategóriába sorolhatók azok a közlések, amelyek más (polgári, közigazgatási jogi) szankcióval fenyegetettek, és a harmadik kategóriába tartoznak azok a közlések, amelyek ugyan nem valósítanak meg jogsértést, de veszélyeztetik a toleranciát, a mások tiszteletére épülő kultúrát." [26] A kategorizálás jelzi, hogy eltérő karakterű, tartalmú, minőségű közlésekről van szó, ami eltérő állami beavatkozási küszöböt feltételez.

A jelentés mellékleteként kiadott Rabat Akcióterv[27] azonban a mérce meghatározásához pusztán a büntetőjogi korlátozás alá eső közlésekre vonatkozóan ad konk-

- 121/122 -

rét szempontokat, a polgári és közigazgatási jogi eszközökkel korlátozható közlések megítéléséhez nem. A szempontok részletezése egyértelművé teszi, hogy a büntetőjogi beavatkozáshoz nem pusztán a nyilvánosan megjelenő közlés primer értékelése szükséges, hanem egy komplex szempontrendszer vizsgálata alapján dönthető csak el, hogy az adott közlés valóban olyan súlyos jogsértést valósít-e meg, amely miatt a véleménynyilvánítás szabadságának szigorú korlátozására van szükség. A büntetőjogi beavatkozási küszöb szempontjait hat pontban határozza meg a dokumentum ("six-part threshold test"). Egy közlés értékelése során vizsgálni kell a közlés kontextusát, a közlő személyét és szándékát, a közlés tartalmát, kifejezési formáját, a közlés hatását, kiterjedését és a sérelem bekövetkezésének valószínűségét.[28]

A gyűlöletbeszéd elleni fellépés, a beavatkozás mércéjének kialakításában a strasbourgi Emberi Jogok Európai Bíróságának (EJEB) joggyakorlata is iránymutató. A Bíróság számos döntése jelöli ki a határt a jogsértő gyűlölködő közlések és a véleménynyilvánítási szabadság által védett, esetleg sértő, megbotránkoztató közlések között.[29] Mivel a Bíróság jellemzően büntetőügyekben hozott döntéseket vizsgált, joggyakorlata a büntetőjogi mérce meghatározását segíti. A Bíróság gyakorlata rögzíti a konkrét ügyekben mérlegelendő szempontokat, egyértelművé teszi, hogy a csoportokkal szembeni erőszakra izgatást megvalósító közlések nem élvezik a szólásszabadság védelmét, de az erőszakra izgatás nem szükséges feltétele a gyűlöletbeszéd elleni fellépésnek.[30] A joggyakorlat alapján a szóláskorlátozás jogszerűségének megítéléséhez vizsgálni kell a közlés célját, annak kontextusát, illetve a hatását.[31]

Ugyancsak a büntetőjogi fellépéshez ad keretet az Európai Unió Tanácsának Kerethatározata (a továbbiakban: Kerethatározat),[32] amely az Európai Unió tagállamait kötelezi büntetőjogi szabályok megalkotására az olyan szólással szemben, amely "a nyilvánosság előtt erőszakra vagy gyűlöletre uszítás faji, bőrszín szerinti, vallási, származás szerinti vagy nemzeti, illetve etnikai hovatartozásuk alapján meghatározott személyek csoportjával vagy e csoport valamely tagjával szemben".[33] A Kerethatározat a rasszizmussal és az idegengyűlölettel kapcsolatos bűncselekmények tagállami szabályozásához az ENSZ dokumentumnál részletesebben rögzíti a beavatkozás feltételeit, amely jól tükrözi a gyűlöletbeszéd szigorúbb európai

- 122/123 -

megközelítését. A Kerethatározat közös európai alapot kíván teremteni a büntetőjogi fellépéshez, ugyanakkor fontos rögzíteni, hogy széles mozgásteret biztosít a tagállamok számára a konkrét jogi szabályozás kialakítása során, azaz nem teremt a gyakorlatban közös büntetőjogi mércét. Például a tagállami jogalkotóra bízza annak eldöntését, hogy csak azokat a közléseket bünteti-e, amelyek a "közrend megzavarására alkalmasak, vagy fenyegető, gyalázkodó vagy sértő jellegűek", vagy e feltételek fennállása nélkül is büntetőjogi tilalmat rendel el. A Kerethatározat célja a közös büntetőjogi megközelítés meghatározása, és maga a dokumentum is úgy fogalmaz, hogy a tagállamok eltérő kulturális és jogi hagyományai miatt "nincs lehetőség a büntetőjogi szabályok teljes harmonizációjára".

Noha az államoknak lehetőségük van arra, hogy a gyűlöletbeszéd elleni fellépésre polgári jogi és közigazgatási jogi eszközöket építsenek be a jogrendbe, a nemzetközi jog gyakorlata kevéssé ad támpontokat a polgári és közigazgatási jogi mércét illetően. A Rabat Akcióterv az egyéb jogi eszközökről csak annyit jegyez meg, hogy a legsúlyosabb beavatkozásnak minősülő büntetőjogi eszközök mellett polgári és közigazgatási jogi jogkövetkezmények is kialakíthatók. Ilyen eszközök lehetnek a gyűlöletkeltő közléssel okozott vagyoni és nem vagyoni kár megtérítése vagy válaszadásra, korrekcióra való kötelezés. Ami a közigazgatási szankciókat illeti, ezek pontos meghatározása és kiszabása közigazgatási szerv hatáskörébe utalható.[34] Jellemzően a polgári és közigazgatási jogi eszközök között jelenik meg szankcióként a tartalom eltávolítására vagy hozzáférhetetlenné tételére kötelezés. A polgári jogi szabályozás mellett ezek a rendelkezések egyes országokban antidiszkriminációs törvényben, médiatörvényben vagy külön gyűlöletbeszéd-törvényben kapnak helyet, az angolszász országokban a "public order act"-ekben találunk idevonatkozó szabályokat.[35] Ahogy azonban ez a Rabat Akciótervben is látszik, a polgári és közigazgatási jogi tilalmak jellemzően a büntetőjogi tilalom alá eső közlésektől eltérő tartalmú közlésekre vonatkoznak, és e közlések esetében a büntetőjoginál alacsonyabb beavatkozási küszöb is igazolható.

Mindebből következően a gyűlöletbeszéd jelensége körében a tiltott közlések meghatározására nincs egységes definíció, az állami beavatkozás mércéje nem egységes. A nemzetközi jogi háttér iránymutatást nyújt a gyűlöletbeszéd elleni fellépés jogi eszközeinek kialakításához, de a beavatkozási küszöb meghatározásában az államok széles mozgástérrel rendelkeznek. A nemzetközi jogi dokumentumokban használt fogalmak - mint például "izgatás", "uszítás", "gyűlöletkeltés" - értelmezésre szorulnak, ezeket az államok joggyakorlata tölti meg tartalommal. Az egységes mérce meghatározását az is nehezíti, hogy a büntető-, a polgári és a közigazgatási jog is eltérő mércéket alkalmaz, eltérően határozza meg a beavatkozási küszöböt. Míg a büntetőjog jellemzően csak a súlyosan jogsértő gyűlölködő közlések ellen lép fel, addig a polgári és a közigazgatási jogi jogkövetkezményekkel az enyhébb súlyú közlések esetén is legitim módon korlátozható a szólás.

A gyűlöletkeltés tilalma mércéinek áttekintése alapján érdemes hangsúlyozni, hogy a gyűlöletkeltő tartalmak törlése, mint a Facebook által alkalmazott szankció,

- 123/124 -

nem a büntetőjogi beavatkozással, hanem a polgári vagy közigazgatási jogban alkalmazott jogkövetkezményekkel rokonítható. Ebből következően, amikor a Facebook a gyűlöletbeszédre hivatkozva töröl egy felhasználói tartalmat, a véleménynyilvánítás védelme szempontjából kevésbé a magas büntetőjogi mérce, mint inkább a polgári vagy közigazgatási jogi mérce kínál megfelelő összehasonlítást.

3. A Facebook szabályozási univerzuma

A közösségi médiaplatformok nagy mozgástérrel rendelkeznek abban, hogy hogyan alakítják az online kommunikáció határait,[36] és működésük a véleménynyilvánítás szabadsága felől közelítve számos paradoxont hordoz. Egyfelől platformot kínálnak a nyilvános kommunikáció számára, lehetővé teszik, hogy az emberek véleményeket, gondolatokat, információkat osszanak meg egymással, új dimenziót nyitva ezzel a társadalmi párbeszéd, az önkifejezés számára. Másfelől viszont önállóan, megfelelő társadalmi kontroll nélkül határozzák meg a felhasználók számára azokat a magatartási szabályokat, amelyek a szabad szólás határait is befolyásolják. A Facebook ma már nem pusztán az emberek közötti baráti, családi kapcsolatok online kiterjesztésének fóruma, hanem a nyilvánosság működésének meghatározó része, a politikai, társadalmi részvétel fontos színhelye, ahol az emberek nem pusztán a magánéletükre vonatkozóan osztanak meg egymással információt, hanem tájékozódásra, politikai véleményformálásra, közösségi szervezkedésre is használják a platformot. A Facebook egy olyan online közösségi tér, ahol döntően nem az eddigi szabályozási mechanizmusok befolyásolják az alapjogok érvényesülését, nem a legitimitással rendelkező állami döntéshozók jelölik ki a véleménynyilvánítás határait, hanem maga a Facebook.

3.1. Szerződésalapú tartalomkontroll

A Facebook és a felhasználó közötti viszony egy magánjogi jogviszony, a felek közötti szerződésen alapul, a felhasználó a Jogi és felelősségi nyilatkozatnak (a továbbiakban: JFNY) nevezett általános szerződési feltételek elfogadásával válik jogosulttá a szolgáltatás igénybevételére.[37] Ez a szerződés rögzíti legáltalánosabb szinten a felek jogait és kötelezettségeit, és ebben találjuk azokat a magatartási szabályokat és tartalmi korlátokat, tilalmakat is, amelyek kijelölik a platformon zajló kommunikációban a szólás határait. Ez a szabályrendszer egyaránt tartalmaz olyan szabályokat, amelyek a vállalkozás üzleti érdekeit jelenítik meg, de természetesen olyanokat is, amelyek külső szabályozási körülmények, jellemzően jogi szabályok alapján kerülnek bele a szerződésbe. Fontos hangsúlyozni, hogy az általános szerződési feltételek tartalmát a Facebook a felhasználóktól függetlenül alakítja, a felhasználó pusz-

- 124/125 -

tán arról dönthet, hogy elfogadja-e ezeket a feltételeket vagy sem. Amennyiben nem fogadja el, úgy nem használhatja a szolgáltatást, ami a Facebook méreteire, a platform általános használatára tekintettel sokak számára nem jelent valós alternatívát.

A JFNY szerint a feltételeket megsértő tartalmakat a Facebook törli vagy hozzáférhetetlenné teszi.[38] A JFNY általános, nem precízen megfogalmazott, tág értelmezést lehetővé tevő rendelkezéseket tartalmaz. A szólás korlátjaként jelenik meg például, hogy a felhasználó nem tehet közzé a Facebookon olyan tartalmat, "mellyel más személy jogait sérti meg, illetve csorbítja, vagy a törvényt egyéb módon szegi meg".[39] Konkrétabban megfogalmazott tartalmi korlátként szerepel, hogy a felhasználó "nem tesz közzé olyan tartalmat, amely: gyűlöletbeszéd vagy pornográf, erőszakot ösztönző, illetve meztelenséget, illetve durva vagy indokolatlan erőszakot tartalmaz".[40]

A Facebook a JFNY mellett számos egyéb szabályzatban rendezi a szolgáltatás használatának feltételeit, részletszabályait. A Közösségi alapelvekben[41] (a továbbiakban: Alapelvek) részletesebben rendelkezik a tartalomra vonatkozó korlátokról, például rögzíti a meztelenség, a szexuális tartalom ábrázolásának vagy az erőszak lehetséges megjelenítésének feltételeit. Emellett részletesen foglalkozik a gyűlöletbeszéd kérdésével is, kibontja a JFNY gyűlöletbeszédre vonatkozó tilalmát. Nevesíti azokat a védett csoportokat, amelyekkel szembeni támadást gyűlöletbeszédnek tekint. Így a faji, az etnikai, a vallási hovatartozás, a származás, a nemi irányultság, biológiai vagy társadalmi nem, nemi azonosság és a súlyos fogyatékosság vagy betegség olyan csoportképző kategória, amely különleges védelmet kap.

A JFNY egyértelművé teszi, hogy a Facebook maga dönt a saját szabályzatait sértő tartalmak törléséről, súlyos és ismételt szabálysértés esetén a felhasználói fiók megszüntetéséről.[42] Egy kivétellel (a szerzői jogi sérelem miatt eltávolított tartalom) nem rendelkezik az intézkedésének lehetséges vitatásáról, kizárólag arról, hogy a döntése eredményeként felmerülő követelés, kárigény kizárólag az Egyesült Államokban peresíthető.[43]

A Facebook felhasználói tartalom feletti kontrolljára, a tartalom törlésére, hozzáférhetetlenné tételére számos okból kerülhet sor. Így kormányzati megkeresésre, jogi eljárásban hozott bírósági vagy más hatósági döntés nyomán, önszabályozási mechanizmus keretében saját szabályzatai és ezek megsértését jelző bejelentések alapján.[44] Fontos újra hangsúlyozni, hogy a Facebook tartalom-ellenőrzési tevékenysége alapjogi mérlegelést igényel, kvázi jogalkalmazói szerepkörbe helyezi a szolgáltatót. A demokratikus jogállamok jogalkalmazó szervei által hozott döntések esetében alapjogi aggály kevéssé merül fel, ezekben az esetekben a Facebook egy legitim döntés végrehajtását végzi. Minden más esetben azonban komoly alapjogi aggályt jelent, hogy a szólás határának meghúzása során hiányoznak az alapjogi

- 125/126 -

garanciák, a Facebook döntéshozatali rendje nem átlátható, és a Facebook által hozott döntések felett nincs valós jogi kontroll.

3.2. A tartalomkontroll belső szabályai

A Facebook tartalom-ellenőrzési rendje, az ehhez kapcsolódó belső eljárási-intézményi folyamatok, azaz az a döntési mechanizmus, amely meghatározza a szólás határait a Facebookon zajló kommunikációban, nem nyilvános. A tartalom-ellenőrzési tevékenységről csak töredékes, alapvetően a Facebook által uralt információk alapján lehet képet alkotni.

A Facebook maga, illetve felelős képviselői jogi jelentéssel nem bíró módon rendszeresen, illetve esetenként megjelentetnek információkat, statisztikai adatokat a tartalomellenőrzési tevékenységről, illetve nyilvánosságra hoznak olyan írásokat, amelyek egy-egy probléma Facebookon belüli kezelését mutatják be. Erre példa Mark Zuckerberg alapító tulajdonos 2017 februárjában posztolt hosszú Facebook-bejegyzése a Facebook működésének stratégiai irányairól, prioritásairól.[45] Idesorolható Richard Allan, a Facebook public policy igazgatójának írása a Facebook Newsroom felületén, aki 2017 nyarán önálló posztot szentelt a gyűlöletbeszéd kérdésének.[46] A posztból kiderül, hogy a gyűlöletbeszéd kezelésének komplexitása komoly kihívást jelent a Facebook számára, a problémára úgy tekintenek, mint amit ma még nem lehet pusztán mesterséges intelligenciára, azaz algoritmusokra bízni. A bejelentett közlések megítélése emberi erőforrásokat igényel, ami miatt szükségesnek ítélték a gyűlöletkeltő közlések szűrését végző munkacsoport létszámának 7500 főre való növelését. A poszt illeszkedik a Facebook kommunikációs stratégiájának megszokott rendjébe, tematizálja a kérdést, számos dilemmát megoszt, de nem enged valódi bepillantást, nem teszi transzparenssé a Facebook belső moderálási, tartalomellenőrzést megvalósító tevékenységét, eljárási folyamatait, és nem utal a probléma érdemi kezelését biztosító eszközökre, megoldásokra sem.

A Facebook saját kommunikációja mellett azonban a sajtóban megjelent kiszivárogtatás eredményeként is hozzáférhetővé váltak olyan információk, amelyek a Facebook valós belső működésébe engednek bepillantást. Mint a bevezetőben már említettem, 2016 telén a Süddeutsche Zeitung, majd 2017 májusában a Guardian hozott nyilvánosságra egymást részben átfedő részleteket abból a moderátori kézikönyvből (a továbbiakban: Kézikönyv), amely a felhasználók által bejelentett tartalmakról döntő moderátorok számára szolgál útmutatóul: rögzíti azokat a szabályokat, amelyek alapján a bejelentett tartalmat törölni vagy az ahhoz való hozzáférést korlátozni kell. A nyilvánosságra került töredékes kézikönyvrészletek nem foglalkoznak valamennyi, a tartalomkontroll körébe tartozó témával. Részletesebben a gyűlöletbeszéd, az erőszak ábrázolása, a gyermekbántalmazás, a holokauszttagadás és az

- 126/127 -

emberi méltóság sérelmét megvalósító közlések törlésére vonatkozó útmutatókat tartalmaznak. A Kézikönyv nyilvánosságra került részeinek töredékessége megnehezíti a működés teljességre törekvő elemzését, így pusztán azt teszi lehetővé, hogy a Facebook tartalom-ellenőrzési tevékenységének általános mechanizmusairól mondjunk véleményt. A Kézikönyv műfaji jellemzői, tartalmi, formai jegyei egyértelművé teszik a dokumentum alapvető célját: gyors, mechanikus döntéseket lehessen hozni nagy mennyiségű felhasználó által bejelentett tartalomról. A Kézikönyv a mérlegelést alig igénylő rövid szöveges szabályok mellett példákkal illusztrálja a törlést igénylő tartalmak körét. A nyilvánosságra került részletek pusztán a törlésről szóló döntés szempontjait tárják fel, de nem szólnak a döntéshozatal körülményeiről, az eljárás rendjéről, a lehetséges konfliktusok kezeléséről, a törlést végző Facebook-"gépezet" intézményi kereteiről.

4. A mércék mérlege

Alapkérdésként merül fel, hogy vajon a Facebook tartalomtörlésre vonatkozó tevékenysége mennyiben felel meg az alapjogi követelményeknek, a szólás határainak a Facebook általi kijelölése hogyan értékelhető az alapjog-korlátozás nemzetközi sztenderdjei tükrében? Korábban bemutattam, hogy a gyűlöletbeszéd esetében nincs általános, egységesen alkalmazott, pontosan meghatározott, nemzetközi szinten rögzített beavatkozási küszöb. A nemzetközi jog pusztán keretet teremt a tagállami beavatkozási küszöb kialakításához, ezen belül is jellemzően a büntetőjogi eszközökhöz. A polgári és közigazgatási jogi beavatkozáshoz a nemzetközi jogi háttér alig kínál fogódzót. Jelen vizsgálatnak elsődlegesen nem az a célja, hogy a Facebook által alkalmazott mérce és a jogi eszközrendszer egymásnak való tételes megfelelését elemezzem, hiszen a két rendszer nyilvánvalóan teljesen más mechanizmusok alapján működik. Az elemzés célja sokkal inkább az, hogy a Facebook működése és a jogi eljárások közötti különbségek feltárása alapján azonosítsam a Facebook tartalom-ellenőrzési tevékenységében tetten érhető önkényes és önvezérelt jellemzőket, amelyek egyben rámutatnak a szükséges alapjogi garanciák meghatározására is.

A Facebook törlési tevékenységét, az általa alkalmazott beavatkozási küszöb értékelését a Polgári és Politikai Jogok Nemzetközi Egyezségokmánya (PPJNE), illetve az annak gyűlöletbeszédre vonatkozó rendelkezését kibontó Rabat Akcióterv, valamint a rasszizmusról és idegengyűlöletről szóló uniós Kerethatározat tükrében vizsgálom. A büntetőjogi megközelítés mellett az elemzés során a közigazgatási jog területéről a magyar médiajogi szabályozást és joggyakorlatot veszem alapul. A polgári jogi fellépés lehetőségét ugyan megteremtette a magyar szabályozás, de itt az ítélkezési gyakorlat kiforratlansága miatt a beavatkozási küszöb ma még pontosan nem azonosítható. Ezért a tanulmány ezt a területet nem vizsgálja. A büntetőjog és a médiajog esetében a jogi norma mögött álló joggyakorlat lehetővé teszi a jogi beavatkozási küszöb megragadását.

- 127/128 -

4.1. A gyűlöletkeltéssel szembeni védelem csoportjai

A Közösségi alapelvek szerint "a gyűlöletbeszéd olyan tartalom, amely közvetlenül támad másokat általunk védett tulajdonságokként meghatározott szempontok - faji hovatartozás, etnikai származás, nemzetiség, vallási hovatartozás, nemi irányultság, biológiai vagy társadalmi nem, nemi identitás, súlyos fogyatékosság vagy betegség miatt". A belső működéshez használt Kézikönyv magyarázó ábrát közöl, amely leegyszerűsítve, képletszerűen jeleníti meg a szabályt: gyűlöletbeszédként való értékeléshez védett kategória és támadás szükséges.

1. ábra. Kézikönyvrészlet: a gyűlöletbeszéd[47]

A Kézikönyv kibontja a védett csoportképző kategóriák tartalmát. A Guardian által kiszivárogtatott anyagban például a szexuális irányultságnál nevesíti a heteroszexuális, biszexuális, homoszexuális és aszexuális kategóriákat. A vallási hovatartozás meghatározásánál ugyancsak példákkal illusztrálva hangsúlyozza, hogy nem magát a vallást, hanem a vallási csoporthoz való tartozást, a személyt védi. Így például nevesíti a katolikus, protestáns, muszlim, Jehova tanúi, sátánista, ateista stb. kategóriákat, illetve az ilyen vallású személyeket. A nyilvánosságra került töredékekből nem ismerhető meg az összes kategória kibontása, például nem tudható, hogyan értelmezi a Facebook a faji hovatartozást, vagy milyen fogyatékosságot tekint súlyos fogyatékosságnak.

2. ábra. Kézikönyvrészlet: védett csoportok[48]

- 128/129 -

A Kézikönyv láthatóan azzal próbálja segíteni a Facebook-munkatársak döntéshozatalát, hogy részletes példákat ad a nem védett társadalmi csoportok azonosításához is. Nem védett kategóriaként jelenik meg a társadalmi osztály (mint a gazdag, szegény, középosztálybeli, munkás stb.) és a külső megjelenés (mint szőke, barna, magas, alacsony, kövér, sovány stb.). Ugyancsak nem védett kör a politikai, ideológiai nézettel való azonosulás, így például a republikánus, demokrata, szocialista, kommunista stb. A Kézikönyv szerint nem védett egy adott ország, de védett az adott ország polgára, így nem védett Írország, de az ír emberek védett csoportot képeznek.

A Kézikönyv részleteinek kiszivárogtatása idején a Facebook által hivatalosan használt, a felhasználók által hozzáférhető Közösségi alapelvek a fentebb bemutatott csoportkategóriákat tartalmazták. E tanulmány az akkor érvényben lévő dokumentum elemzésére épül. A kézirat lezárását követően azonban módosultak a Közösségi alapelvek szabályai, a Facebook ugyanis 2018 tavaszán módosította, kiegészítette a dokumentumot, és a módosítás érintette a gyűlöletbeszédre vonatkozó szabályokat is.[49] A korábban titkos, belső Kézikönyv szabályai kerültek át a nyilvános Közösségi alapelvekbe, és új védelmi csoportként jelent meg a bevándorlók csoportja.

A Facebook által alkalmazott védett csoportok meghatározását érdemes összevetni a nemzetközi jogi dokumentumokban megjelenő védett alanyokkal. A PPJNE a védett csoportokra áttételesen utal, amikor "a nemzeti, faji vagy vallási gyűlöletet" említi, mint ami ellen törvénnyel kell fellépni.[50] Ez a kör szűkebb, mint a Facebook Közösségi alapelvekben rögzített csoportkategóriáké, de ezek a kategóriák szerepelnek a Közösségi alapelvekben is. A Kerethatározat a "faji, bőrszín szerinti, vallási, származás szerinti vagy nemzeti, illetve etnikai hovatartozást" nevesíti mint védendő kategóriát.[51] Ez a felsorolás a PPJNE-hoz képest tágabb körben teszi lehetővé a gyűlöletbeszéd elleni fellépést, de még ez is szűkebb, mint a Facebook-dokumentumok által védett csoportok köre, mert nem szerepel benne sem a szexuális irányultság, sem a súlyos fogyatékosság, sem a betegség.

Megközelítésbeli különbség, hogy a nemzetközi jogi dokumentumok a gyűlöletbeszéd elleni fellépés definiálása során a védett csoporthoz való tartozást nevesítik, míg a Facebook Kézikönyv nagy hangsúlyt fektet arra, hogy mely társadalmi csoportok nem tartoznak a védett körbe. A Facebook megoldása nyilvánvalóan egy egyszerűbb mérlegelést tesz lehetővé, lényegesen mechanikusabb döntéshozatalt eredményez. A Kézikönyv arra is ad megoldási képletet, ha egy közlésben több csoportminőség szerepel, például a nem és az életkor (pl. fehér gyerekek, indiai nők). Abban az esetben, ha mindkét kategória védett, a közlést a védett kategóriára vonatkozó szabályok alapján kell elbírálni. Ha viszont a kategóriák között szerepel nem védett minőség is, úgy a közlés a nem védett kategóriába kerül át. Ez a megközelítés valójában szűkíti a védendő kört, mert ha több kategória jelenik meg, akkor egy nem védett kategória is vélhetően megszünteti a védetti státuszt. Példaként

- 129/130 -

említi a Kézikönyv, hogy "az ír nők buták" közlést törölni kell, míg "az ír kamaszok buták" közlés megengedett, hiszen az életkor szerinti megjelölés (kamaszok) nem tartozik a védett csoportkategóriák közé. Ezzel tehát az ír társadalom egy életkori csoportja szellemi képességeinek negatív minősítése kikerül a védetti körből, noha a vélemény nyilvánvalóan az írekről szól, csak azon belül egy speciális csoportról. A közlésben az ír kamaszok vélhetően más nemzetbeli kamaszokhoz képest vannak negatívan ábrázolva.

3. ábra. Kézikönyvrészlet: többféle csoportminőség esetén követendő szabály[52]

Ha a kérdést nem a büntetőjogi, hanem a közigazgatási jogi mérce szempontjából vizsgáljuk, az elemzéshez választott magyar médiajogi szabály szélesebb körben határozza meg a védett csoport kategóriáját.[53] A gyűlöletbeszéd tilalmát rögzítő törvényi szabály védett kategóriaként említi a "nemzet, közösség, nemzeti, etnikai, nyelvi és más kisebbség vagy bármely többség, továbbá valamely vallási közösség" csoportokat. A törvény a nevesített csoportok mellett a "más kisebbség" vagy "bármely többség" kategóriájával a médiajogi korlát tág alkalmazását biztosítja a gyűlölködő közléseket megjelenítő médiumokkal szemben.[54]

A védett társadalmi csoportok vizsgálata alapján összefoglalóan rögzíthető, hogy a Facebook mércéje tágabban határozza meg a védetti kört, mint a (nemzetközi) büntetőjogi megközelítés, hiszen kiterjed a szexuális irányultságra, a súlyos fogyatékosságra és a betegségre is. Ugyanakkor a szabályzat éppen a taxatív felsorolás miatt szűkebb beavatkozásra ad lehetőséget, mint a vizsgált jogágak, például a közigazgatási jog körébe tartozó médiajog, amely a védett csoportokat csak példálózva sorolja fel, és a jogalkalmazó mérlegelésére bízza a csoportok meghatározását.

- 130/131 -

Fontos hangsúlyozni továbbá, hogy a mechanikus, a kontextust kevéssé figyelembe vevő döntési mechanizmus a gyakorlatban szűkíti a védelem alá eső alanyi kört, hiszen a nem védett csoportokkal szemben megenged olyan közléseket is, amelyek akár a büntetőjogi, akár az egyéb jogágak szerint, a közlés tartalmától és kontextusától függően jogilag tiltottnak minősülnének.

4.2. A gyűlöletkeltő közlés

Az értékelés következő eleme a Facebook gyűlöletbeszéd-definíciójában szereplő "támadás" kifejezés értelmezése és elhelyezése a jogi szabályozás kontextusában. A kiszivárogtatott dokumentumok nem tartalmaznak pontos definíciót arra vonatkozóan, mit tekint a Facebook "támadásnak", de a Kézikönyvben szereplő példák alapján valamelyest körvonalazódik a kifejezés értelmezési tartománya.[55] A Facebook verbális támadásnak tekinti a sértő kijelentéseket, így akár a nem olyan súlyos, nem erőszakra felhívó közlések (például "az ír nők buták") is törlendő tartalomnak minősülnek. Önmagában a védett kategóriára utalás még nem minősül támadásnak, így nem kell törölni például az "olyan vagy, mint egy zsidó" vagy az "ő meleg" közléseket. Viszont nem megengedett egy csoport felsőbbrendűségének kifejezése, ha valamilyen más csoportot alárendeltként vagy negatív minősítéssel látnak el. A Kézikönyv szerint törölni kell például "az írek a legjobbak, de a franciák szarok" közlést.

4. ábra. Kézikönyvrészlet: megengedett és tiltott közlések[56]

- 131/132 -

Ugyanakkor a nem védett kategóriába tartozó csoportok esetében még az olyan erőszakra felhívó közlések sem tiltottak, mint például "Öld meg a kövéreket!" A Facebook értékelésében a hangsúly inkább a védett kategórián van, és kevésbé a közlésben megjelenő durva, sértő jelleghez igazodik.

5. ábra. Kézikönyvrészlet: a Facebook által megengedett közlések[57]

A nemzetközi dokumentumok a gyűlöletkeltés megvalósulását nem a Facebooknál megjelenő "támadás" kifejezéssel írják körül. A PPJNE-ben a gyűlölet "hirdetése" és a "megkülönböztetésre, ellenségeskedésre vagy erőszakra izgatás" szerepel, a Kerethatározat az "erőszakra, gyűlöletre uszít" kifejezéseket használja. E fogalmak értelmezése és alkalmazása összetett szempontrendszer mérlegelése alapján történik, és a közlések bántó, sértő jellege önmagában nem alapozza meg a büntetőjogi beavatkozást. A Rabat Akciótervben rögzített, hat elemből álló teszt a büntetőjogi beavatkozáshoz az "izgatás" megállapításának szempontjait bontja ki.[58] A mérlegelésnél nem hagyható figyelmen kívül az a társadalmi, politikai, történelmi kontextus, amelyben a közlés megjelenik, és amely befolyásolja az izgatás megvalósulásának valószínűségét. A büntetőjogi mérce megköveteli az izgatás megállapításához a szándékot, tehát nem elegendő a büntetőjogi szankció megállapításához a közlő részéről a gondatlanság. Továbbá azt is vizsgálni kell, hogy a közlés eredményeként valószínűsíthető-e a védett csoport elleni tevőleges fellépés. Hasonló szempontok jelennek meg az EJEB gyakorlatában is, amikor a Bíróság a véleménynyilvánítás szabadságának megengedhető korlátozásához ad mércét.[59]

A büntetőjogi szabályozás megközelítése tehát eltér a Facebook belső szabályaitól, nem tekinti elegendőnek a közlés sértő jellegét a gyűlöletbeszéd büntetőjogi korlátozásához, hanem egy sok szempontú mérlegelés alapján csak a súlyosan jogsértő közlések esetében engedi a szólás korlátozását.

A büntetőjoggal szemben más jogágak mércéi alacsonyabb beavatkozási küszöböt engednek. A magyar joggyakorlat alapján a médiajogi szabály szerint a gyűlöletkeltést nem "csak kirívó és ellenséges érzelmek felkorbácsolására alkalmas tényállás alapján lehetne megállapítani",[60] hanem például az olyan közlések esetén is, amelyek elmélyítik az adott kisebbséggel szemben meglévő negatív társadalmi előítéleteket.[61] A magyar médiajogi mérce tehát jobban közelít a Facebook által alkalmazott mércéhez.

- 132/133 -

A jogi szabályozásban megjelenő szempontrendszer-alapú mérlegelés a Kézikönyv alapján csak szűk körben jelenik meg a Facebook gyakorlatában. Ilyen eset, amikor a Facebook a közlő kifejezett szándékát is figyelembe veszi a törlésről való döntés során. Maga a Közösségi alapelvek is felhívja a felhasználók figyelmét arra, hogy tegyék egyértelművé a gyűlölködő közlések megosztásának célját, indokát. Ennek azért van jelentősége, mert a gyűlöletbeszéd jelenségéről tájékoztató, figyelemfelhívó közléseket, a közlés szándékának egyértelmű kifejezése mellett engedi a Kézikönyv, abban az esetben is, ha a közlés gúnyos formában jelenik meg.

4.3. "Kvázi védett" csoport: bevándorlók

A "támadás" értelmezése körében a Kézikönyv kiszivárogtatott részei egy speciális társadalmi csoporttal, a bevándorlókkal összefüggésben fogalmaznak meg a támadás minőségére vonatkozó további szempontokat.[62] Ezen a ponton szükséges ennek a kérdésnek a részletesebb bemutatása, történeti kontextusban való elhelyezése. E gondolati kitérő hozzájárul a Facebook alapjogokat érintő működési mechanizmusának pontosabb megértéséhez is.

Richard Allan fentebb hivatkozott, a gyűlöletbeszéd kezeléséről szóló írásában arról beszélt, hogy 2015-ben a Németországba érkező óriási menekülthullám hatására a Facebookon erősödött a menekültellenes gyűlölködő beszéd. Megvizsgálták, hogy ez a jelenség pusztán a német felhasználókat érinti-e, vagy globálisnak mondható, a Facebookon zajló kommunikáció egészére is igaz. Azt találták, hogy a jelenség globális méretű, ezért 2016 áprilisában új elemmel egészítették ki a Kézikönyvet. Bevezették az ún. "kvázi védett" kategóriát a menekültekre, bevándorlókra vonatkozóan. A Kézikönyv rögzíti, hogy a bevándorlók egy olyan sérülékeny csoport, amely ugyan nem minősül önálló védett kategóriának, de speciális kezelést igényel. A Kézikönyv alapján minden olyan bevándorlókra vonatkozó közlést el kell távolítani, amely erőszakra hív fel vagy dehumanizáló minősítést tartalmaz. A "kvázi védett" kategóriának minősített csoport esetében tehát nem elegendő a törléshez a sértő, bántó közlés, hanem csak a súlyos, hatásában nagyobb veszéllyel járó közlések tiltottak a Facebookon. A Kézikönyv egyértelművé teszi, hogy a Facebook nem akarja korlátozni a bevándorlás kérdéséről zajló széles társadalmi vitát, hiszen ez a közelgő (2016-os) amerikai elnökválasztás "forró témája", ezért a beavatkozás mércéje magasabb: nem elegendő a sértés, hanem csak a súlyosabb sérelem esetén kell törölni a tartalmakat.[63] Így például törölni kell "a bevándorlók szemetek" vagy "a bevándorlók mocskos patkányok, amik megfertőzik az országunkat" véleményeket, de nem kell törölni azokat a véleményeket, hogy "a bevándorlókat nem kellene beengedni az országba" vagy "a bevándorlók csak az állam ingyenélői, ezért távol kell őket tartani".

- 133/134 -

6. ábra. Kézikönyvrészlet: tiltott és megengedett gyűlölködő tartalom a bevándorlókkal összefüggésben[64]

A menekültválság társadalmi kommunikációjának a Facebook általi kezelése elmozdulás a gyűlöletbeszéd jogi szabályozása körében ismert megoldás irányába. A "támadás" értelmezése a kvázi védett csoport esetén a nemzetközi jogi dokumentumok "erőszakra izgatás", "erőszakra, gyűlöletre uszítás" kategóriáihoz közelít, és egy magasabb beavatkozási küszöböt eredményez, mint általában a védett csoportokra vonatkozó Facebook-szabály. A véleménynyilvánítás szabadsága és mások jogainak védelme közötti egyensúlyozás explicit módon is megjelenik a Kézikönyvben: a Facebook kifejezett szándéka a magasabb beavatkozási küszöb alkalmazásával az, hogy ne korlátozza aránytalanul a széles társadalmi vitát a bevándorlás fontos társadalmi problémáiról. A speciális szabály bevezetése jól megragadhatóvá teszi a Facebook törlési tevékenységében megjelenő szabályozási mechanizmust: a Facebook a Kézikönyv kiegészítése során az aktuális történésekre reagálva alapjogi konfliktust old fel a tartalomra vonatkozó korlát precízebb meghatározásával.

4.4. A Facebook beavatkozási küszöbe

A Kézikönyv elemzése alapján elmondható, hogy a Facebook gyűlöletbeszéddel összefüggő tartalomkontroll-tevékenysége a saját maga által önállóan meghatározott keretben zajlik, a jogi szabályozási rendhez képest más logikát követ. A tartalom törléséről döntést hozók nem elvek mentén, hanem képletszerű, leegyszerűsített szabályok alapján döntenek, ami rigid, kevésbé rugalmas mérlegelést eredményez, és a közlés kontextusát, illetve hatásának értékelését csak közvetetten és esetlegesen veszi figyelembe. A tartalomkontroll-tevékenység egy algoritmus működésének logikáját követi, amely egy, a Facebook belső döntéshozatali mechanizmusában kialakított, lényegében mechanikusan alkalmazható, műveletekre épülő belső sza-

- 134/135 -

bályzaton alapul. Ebben a működési modellben nem az egyedi közlés kontextusának elemzése történik, hanem arról van szó, hogy a kontextuális, elvek mentén zajló vizsgálat egy magasabb szinten, a Kézikönyv megalkotása szintjén történik. A Facebook döntéshozói az adott társadalmi vagy kommunikációs jelenség értékelése alapján alakítják ki a megengedhető közlések határát, és döntenek arról, hogy a kulturális, történelmi, emberi kontextus bekerül-e a napi törlési tevékenységet végző moderátorok munkáját vezérlő Kézikönyvbe vagy sem. Ez a működési mód mutatkozott meg a menekültválság kezelése során, amikor a jelenségre reagálva a Facebook vezetése a Kézikönyv kiegészítését határozta el, illetve két évvel később, 2018 tavaszán, amikor a Közösségi alapelvekbe is beépítette a korábban csak a nem nyilvános, belső szabályokban élő elbírálási rendet.

5. Zárógondolatok: alapjogi garanciák a Facebook működtetésében

A Facebook a platformon megjelenő gyűlöletkeltő tartalmak törlését, blokkolását a jogi szabályozási rendet csak részben követő saját szabályozási keretben végzi. Tartalom-ellenőrzési tevékenysége önálló belső szabályzatok alapján kialakított döntési mechanizmusokon keresztül valósul meg, törlési tevékenységének átláthatóságát, elszámoltathatóságát a meglévő jogi szabályozási megoldások nem biztosítják.

A Facebook belső szabályokra épülő tartalom-ellenőrzési tevékenysége, döntési mechanizmusa magyarázható a szolgáltatás jellegével. A felhasználók által napi szinten megosztott közlések mennyisége óhatatlanul más kontrollmechanizmust igényel, mint a hagyományos szerkesztőségi felelősséget viselő tömegmédiumok esetében. Az alapjogi probléma abban áll, hogy sem megfelelő nyilvánossága, sem valós kontrollja nincs a törlésről szóló döntéseknek, és hiányzik a jogérvényesítés intézményi kerete, azaz a felhasználó számára nincs valódi igényérvényesítési lehetőség. Az alapjogi szempontok érvényesülését a tartalomkontrollt érintő döntések, a döntési folyamat nyilvánossága teremthetné meg. Az átláthatóság csökkentené az erőviszonyokban megjelenő aránytalanságot, biztosítaná a moderálási tevékenység feletti általános társadalmi kontrollt, és megteremtené az alapját annak, hogy kialakítható legyen a felhasználók megfelelő jogérvényesítési lehetősége.

A mennyiség által vezérelt működés, a szolgáltatás aggregátorjellege a konkrét tartalomról szóló döntés szintjén csak részben teszi lehetővé az alapjogi szemléletmód megjelenését, az alapjogi garanciák kiépítése a tartalomkontrollt működtető belső szabályzatok szintjén is megoldásra váró feladat. A probléma jelenleg itt is az, hogy a szabályzat elkészítése, lehetséges alakítása, módosítása kizárólag a Facebook belső döntési kompetenciája. A Facebookra vonatkozó jogi szabályozási környezetből hiányoznak az alapjogok érvényesülését biztosító garanciák. A társadalmi kontroll sokféle megoldása közül kiemelkedik az állami szerepvállalás, az alapjogok objektív oldalához kapcsolódó intézményvédelem kötelezettsége és lehetősége. Az állam szerepvállalása a konkrét tartalomról szóló döntések alapjául szolgáló szabályzat (a Facebook esetében a Közösségi alapelvek) kialakításával összefüggésben az alapjogi szempontok, az alapjogvédelem nemzetközi jogi kö-

- 135/136 -

telezettségének megjelenítése lehetne. Ennek intézményi környezete, a megfelelő jogi garanciák kialakítása a szabályozás területére tartozik. Az állam szólásszabadságot védő pozitív szerepvállalása egy szorosabb együttműködési viszonyt feltételez a szolgáltatókkal, amelynek intézményi keretéhez mintául szolgálhatnak a társszabályozás által kialakított megoldások.

Abstract

The internet intermediaries, such as services like Google and Facebook became important actors who can influence the media supply through the personalised information flow tailored by their own algorithms and due to the content moderation of their own platforms. These services have exceeded their previous activities which were merely of an intermediary scope and this change affects substantially the fulfilment of international human rights standards. The article analysed first and foremost the operation of the internet intermediaries, especially of the social media platforms from the freedom of expression point of view. It seeks answers to the question to what extent does the moderation of the user generated content on the platforms, i.e. removing and blocking contents which do not comply with the terms and conditions of the platforms, comply with the requirements of the restriction of human rights. Based on the analysis of Facebook's own regulatory framework, it evaluates content moderation activity on hate speech on the platform in the context of human rights. It points out the guarantees of human rights which are missing from the content control mechanisms of Facebook. ■

JEGYZETEK

[1] A tanulmány "Az internetes forgalomirányító szolgáltatások szabályozási kérdései" című, 116551. számú OTKA-kutatás keretében, az MTA Társadalomtudományi Kutatóközpontjában készült.

[2] Ebben a tanulmányban a gyűlöletbeszéd tágabb meghatározása alapján e kategóriába sorolt közlésként a bizonyos társadalmi csoportok tagjait sértő és/vagy megalázó és/vagy kirekesztő és/vagy fenyegető szólást értem. Vesd össze: Tóth Gábor Attila: A jogok törvénye. Gondolat, Budapest, 2014, 187.

[3] A közösségi médiaplatformok tartalom-ellenőrzési tevékenységének szabályozási környezetéről bővebben lásd Nagy Krisztina-Polyák Gábor: Az internetes forgalomirányító szolgáltatások alapjogi vonatkozásai. JURA 2018/1, 88.

[4] Krause, TNI-Grassegger, Hannes: Facebooks Gesetz: die geheimen Lösch-Regeln. Süddeutsche Zeitung, 16. Dezember 2016, http://www.sueddeutsche.de/digital/inside-facebook-facebooks-gesetz-die-geheimen-loesch-regeln-1.3297387 (2017. 04. 15.).

[5] Hopkins, Nick: Revealed: Facebook's internal rulebook on sex, terrorism and violence. The Guardian, 21 May 2017, https://www.theguardian.com/news/2017/may/21/revealed-facebook-internal-rulebook-sex-terrorism-violence (2017. 07. 12.).

[6] Keats Citron, Daniella-Norton, Helena: Intermediaries and Hate Speech: Fostering Digital Citizeship for our Information Age. Boston University Law Review, 2011, 1435-1484.

[7] Kahn, Robert A.: A gyűlölet szabadsága - amerikai és európai perspektívák. Wolters Kluwer, Budapest, 2016.

[8] 2010. évi CLXXXV. törvény a médiaszolgáltatásokról és a tömegkommunikációról, 203. § 30-31. pont (Értelmező rendelkezések).

[9] Felelősségük szabályozására három alapvető modell alakult ki: a szigorú felelősségi rend, a feltételes felelősség és a széles immunitás modellje. Erről lásd bővebben Nagy-Polyák: i. m., 91-93. A Center for Internet and Society (Stanford Law School) közreműködésével összeállított térkép képet ad a különböző országokban érvényesülő felelősségi szabályokról, http://cyberlaw.stanford.edu/our-work/projects/world-intermediary-liability-map-wilmap (2018. 04. 10.).

[10] MacKinnon, Rebecca-Hickok, Elonnai-Bar, Allon-Lim, Hae-in: Fostering Freedom Online: The Role of Internet Intermediaries. UNESCO, Paris, 2014, 42.

[11] Az Európai Parlament és a Tanács 2000/31/EK irányelve (2000. június 8.) a belső piacon az információs társadalommal összefüggő szolgáltatások, különösen az elektronikus kereskedelem, egyes jogi vonatkozásairól ("Elektronikus kereskedelemről szóló irányelv"). HL L 178, 2007. 07. 17., 1-16.

[12] Facebook felhasználási feltételek (Jogi és felelősségi nyilatkozat), https://hu-hu.facebook.com/legal/terms (2018. 04. 10.).

[13] Gemeinsam gegen Hassbotschaften - Task Force stellt Ergebnisse vor. Bundesministerium der Justiz und für Verbraucherschutz, 15. Dezember 2015, http://www.bmjv.de/SharedDocs/Artikel/DE/2015/12152015_ErgebnisrundeTaskForce.html (2017. 10. 12.).

[14] Facebook outsources fight against racist posts in Germany. Reuters, 15 January 2016, http://www.reut.ers.com/article/facebook-germany-idUSKCN0UT1GM (2017. 10. 12.).

[15] Code of conduct on countering illegal hate speech online, http://ec.europa.eu/newsroom/just/item-detail.cfm?item_id=54300 (2017. 08. 10.).

[16] Nagy-Polyák: i. m., 96.

[17] Gesetz zur Verbesserung der Rechtsdurchsetzung in sozialen Netzwerken (Netzwerkdurchsetzungsgesetz vom 1. September 2017, BGBl. I S. 3352).

[18] Hong, Mathias: Das NetzDG und die Vermutung für die Freiheit der Rede. Verfassungsblog, 9 Januar 2018, https://verfassungsblog.de/das-netzdg-und-die-vermutung-fuer-die-freiheit-der-rede/ (2018. 01. 14).

[19] Polyák Gábor: A Facebook-on elkövetett jogsértésekért való felelősség. In: Zséger Barbara (szerk.): Válogatás a Magyar Kriminológiai Társaság 2017-2018. évben tartott tudományos rendezvényein elhangzott előadásokból. Kriminológiai Közlemények 78., 143-153.

[20] Polyák Gábor: Szabályozási eszközök és lehetőségek a kisebbségek médiaképének befolyásolására. In: Bogdán Mária-Feischmidt Margit-Guld Ádám (szerk.): "Csak másban": Romareprezentáció a magyar médiában. Gondolat, Budapest, 2013.

[21] Halmai Gábor: A véleménynyilvánítás szabadsága. In: Halmai Gábor-Tóth Gábor Attila (szerk.): Emberi jogok. Osiris, Budapest, 2003, 462.

[22] Beszámoló a nemzeti és etnikai kisebbségi jogok országgyűlési biztosának tevékenységéről (2001. január 1.-december 31.).

[23] Az e bekezdésben említett magatartásokon túl a részes államoknak tágabb körben is lehetőségük van a gyűlöletbeszéd jelenségébe tartozó közlések korlátozására. A PPJNE 18. és 19. cikke alapján (gondolat-, lelkiismeret-, vallásszabadság, véleménynyilvánítás szabadsága) az alapjog-korlátozásra vonatkozó szigorú elvek betartása mellett mások jogainak védelmét célozva, közérdekből vagy nemzetbiztonsági érdekből is beépíthetnek korlátokat a jogrendbe.

[24] A vonatkozó magyar büntetőjogi, polgári jogi és médiajogi rendelkezések: a Büntető Törvénykönyvről szóló 2012. évi C. törvény (Btk.) 332-333. §; a Polgári Törvénykönyvről szóló 2013. évi V. törvény (Ptk.) 2:54. § (5) bekezdés; a sajtószabadságról és a médiatartalmak alapvető szabályairól szóló 2010. évi CIV. törvény (Smtv.) 17. § (1) és (2) bekezdés.

[25] Report of the United Nations High Commissioner for Human Rights on the expert workshops on the prohibition of incitement to national, racial or religious hatred, 11 January 2013, http://www.ohchr.org/Documents/Issues/Opinion/SeminarRabat/Rabat_draft_outcome.pdf (2017. 09. 10.).

[26] A jelentés 12. pontja.

[27] Rabat Plan of Action on the prohibition of advocacy of national, racial or religious hatred that constitutes incitement to discrimination, hostility or violence. Conclusions and recommendations emanating from the four regional expert workshops organized by OHCHR in 2011, and adopted by experts at the meeting in Rabat, Morocco, on 5 October 2012, http://www.ohchr.org/Documents/Issues/Opinion/SeminarRabat/Rabat_draft_outcome.pdf (2017. 09. 10.).

[28] Rabat Akcióterv 29. pont.

[29] Jersild kontra Dánia ügy, 1994. szeptember 23-i ítélet (ügyszám: 15890/89); Sürek kontra Törökország ügy, 1999. július 8-i ítélet (ügyszám: 26682/95); Norwood kontra Egyesült Királyság ügy, 2004. november 16-i ítélet (ügyszám: 23131/03).

[30] Koltay András: A gyűlöletbeszéd korlátozása a magyar jogrendszerben. In: Koltay András (szerk.): A gyűlöletbeszéd korlátozása Magyarországon. Wolters Kluwer, Budapest, 2013, 154.

[31] Jersild kontra Dánia ügy, 1994. szeptember 23-i ítélet (ügyszám: 15890/89) 33., 34. pont; Erbakan kontra Törökország ügy, 2006. július 6-i ítélet (ügyszám: 59405/00).

[32] A Tanács 2008/913/IB kerethatározata (2008. november 28.) a rasszizmus és az idegengyűlölet egyes formái és megnyilvánulásai elleni, büntetőjogi eszközökkel történő küzdelemről. HL L 328, 2008. 12. 06., 55-58.

[33] Kerethatározat 1. cikk (1) bek. a) pont.

[34] Rabat Akcióterv, 34. pont.

[35] Gárdos-Orosz Fruzsina: A gyűlöletbeszéd új polgári jogi szabályozásáról. Fundamentum, 2013/3, 23.

[36] Keats Citron-Norton: i. m., 1453.

[37] Facebook felhasználási feltételek (Jogi és felelősségi nyilatkozat), https://hu-hu.facebook.com/legal/terms (2018. 04. 10.).

[38] JFNY 5.2. pont.

[39] JFNY 5.1. pont.

[40] JFNY 3.7. pont.

[41] Facebook Közösségi alapelvek, https://www.facebook.com/communitystandards/ (2018. 01. 30.).

[42] JFNY 5.2., 5.14. pont.

[43] JFNY 15. pont.

[44] MacKinnon-Hickok-Bar-Lim: i. m., 42.

[45] Zuckerberg, Mark: Building Global Community, 16 February 2017, https://www.facebook.com/notes/mark-zuckerberg/building-global-community/10154544292806634/ (2017. 10. 09.).

[46] Allan, Richard: Hard Questions: Who Should Decide What Is Hate Speech in an Online Global Community? 27 June 2017, https://newsroom.fb.com/news/2017/06/hard-questions-hate-speech/ (2017. 10. 09.).

[47] Forrás: https://www.theguardian.com/news/series/facebook-flles (2017. 08. 12.).

[48] Forrás: https://www.theguardian.com/news/series/facebook-flles (2017. 08. 12.).

[49] Newton, Casey: Facebook makes its community guidelines public and introduces an appeals process. The Verge, 24 April 2018, https://www.theverge.com/2018/4/24/17270910/facebook-commun+ity-guidelines-appeals-process (2018. 05. 22.).

[50] PPJNE 20. cikk (2) bek.

[51] Kerethatározat 1. cikk (1) bek.

[52] Forrás: https://www.sueddeutsche.de/digital/inside-facebook-facebooks-gesetz-die-geheimen-loesch-regeln-1.3297387 (2017. 08. 12.).

[53] Smtv. 17. § (1) A médiatartalom nem lehet alkalmas valamely nemzet, közösség, nemzeti, etnikai, nyelvi és más kisebbség vagy bármely többség, továbbá valamely vallási közösség elleni gyűlölet keltésére.

(2) A médiatartalom nem lehet alkalmas valamely nemzet, közösség, nemzeti, etnikai, nyelvi és más kisebbség vagy bármely többség, továbbá valamely vallási közösség kirekesztésére.

[54] Fontos hangsúlyozni, hogy a magyar médiatörvény hatálya nem terjed ki a Facebook tevékenységére, így a gyűlöletkeltés tilalmára vonatkozó szabály alapján a Facebook nem vonható felelősségre médiajogi jogsértés miatt.

[55] A kézirat lezárását követően nyilvánosságra hozott új Közösségi alapelvekben már szerepel a támadás részletesebb körülírása. A Facebook a támadás három szintjét, kategóriáját definiálja: az első szintű támadások a védett tulajdonságokkal rendelkező csoportok és a bevándorlói jogállással rendelkező személy vagy embercsoportok ellen irányulnak, és tartalmuk bármilyen erőszakos beszéd vagy halál/betegség/testi sértés támogatása, illetve idetartozik a dehumanizáló beszéd. A második szintű támadások azok, amelyek a védett tulajdonságokkal rendelkező csoportok alacsonyabb rendűségére utalnak, vagy rájuk vonatkozó megvető, utálkozó és rosszindulatú megjegyzések. A harmadik szintű támadások a védett tulajdonságokkal rendelkező csoportok kirekesztésére, elkülönítésére irányulnak. Facebook Közösségi alapelvek, https://hu-hu.facebook.com/communitystandards/ (2018. 05. 03.).

[56] Forrás: https://www.theguardian.com/news/series/facebook-flles (2017. 08. 12.).

[57] Forrás: https://www.theguardian.com/news/series/facebook-flles (2017. 08. 12.).

[58] Rabat Akcióterv 29. pont.

[59] Lásd erről bővebben az EJEB döntését a Jersild kontra Dánia ügyben, 1994. szeptember 23-i ítélet (ügyszám: 15890/89).

[60] BH 2006.270.

[61] A Médiatanács 126/2017. (II. 7.) határozata.

[62] Ahogy korábban említettem, a Közösségi alapelvek 2018 tavaszán történt módosítása nyomán a támadás minőségére vonatkozó szempontok bekerültek a nyilvánosan hozzáférhető Közösségi alapelvek szabályai közé.

[63] Hate speech and anti-migrant posts: Facebook's rules. The Guardian, 24 May 2017, https://www.theguardian.com/news/gallery/2017/may/24/hate-speech-and-anti-migrant-posts-facebooks-rules (2017. 10. 09.).

[64] Forrás: https://www.theguardian.com/news/series/facebook-flles (2017. 08. 12.).

Lábjegyzetek:

[1] A szerző külső munkatárs, MTA TK Jogtudományi Intézet; egyetemi adjunktus, BME GTK Üzleti Jog Tanszék, nagy.krisztina@eik.bme.hu.

Tartalomjegyzék

Visszaugrás

Ugrás az oldal tetejére