Slide
Človekove pravice
in regulacija
umetne inteligence
vredne zaupanja

O PROJEKTU

Umetna inteligenca (UI) prinaša številne prednosti za posameznike, podjetja in države. Primeri segajo od situacij, ko družbena omrežja priporočajo prijatelje, algoritmi, ki osmišljajo veliko podatkovje opravijo del transakcij na borzah ali pa organom odkrivanja in pregona pokažejo, kje in kdaj naj bi se zgodil prihodnji zločin. Evropska unija je z vseevropsko pobudo o sodelovanju na področju umetne inteligence, ki se ji je pridružila tudi Slovenija začrtala prizadevanja, da je smiselno, da z velikim podatkovjem, strojnim učenjem oz. UI poskušamo reševati tudi številne družbene probleme: revščino, klimatske spremembe, družbeno neenakost in kriminaliteto. Nujno pa je, da se tehnološki razvoj UI odvija v ustreznem pravno-etičnim okvirju, ki bo okrepil obstoječe ravni spoštovanja človekovih pravic in temeljnih svoboščin vsakega posameznika in utrdil legitimne demokratične procese.

Ciljni raziskovalni projekt (CRP) Človekove pravice in regulacija umetne inteligence vredne zaupanja (V5-1930) je financiran s strani Javne agencije za raziskovalno dejavnost Republike Slovenije (RS), Ministrstva za zunanje zadeve RS, Ministrstva za javno upravo RS, Ministrstva za izobraževanje, znanost in šport RS ter Ministrstva za pravosodje RS.

 

 

VSEBINA PROJEKTA

Naše raziskovalno delo je razdeljeno na tri dele. V prvem delu, Atlas uporabe UI, analiziramo rabo UI v družbenih domenah in družbenih podsistemih, kjer UI lahko vpliva na temelje demokratične družbene ureditve in pravne države. V tem delu se med drugim ukvarjamo tudi  s preučevanjem obstoječih uporab UI v javni politikah. Na podlagi študij primerov dobrih praks uporabe UI v javnih politikah v tujini in analize znanja iz že obstoječih platform želimo oblikovati smernice kako dobre prakse in znanja uspešno prenesti in implementirati v sfero javnih politik v Republiki Sloveniji.

V drugem delu projekta, Učinki UI na človekove pravice in posameznika, je naš cilj oblikovati kvalitativne analize rabe UI v različnih domenah. Dva ključna učinka UI, ki jih projekt naslavlja, sta vplivi UI na temeljne človekove pravice (pravni vidiki) ter vplivi na človekovo subjektivnost (nepravni oz. psiho-socialni vidiki). Izhodišče projekta je, da mora vpeljava UI temeljiti na spoštovanju temeljnih človekovih pravic in temeljnih svoboščin, demokracije, pravne države in zagotavljanju gospodarske in politične stabilnosti. Raznoliki primeri obstoječe uporabe UI kažejo, da ob številnih koristih novi sistemi okrepljeni z UI lahko vodijo tudi v kršitve temeljnih človejkovih pravic. Grožnje so specifične za posamično domeno – npr. zavarovalniško, bančno, sodno, policijsko – nekatere pa so skupne delovanju UI. Primeri uporabe UI kažejo, da ta prinaša številne pravne in etične izzive. Na mikro ravni UI uporabljena v sistemih odločanja o posameznikovih pravicah in obveznostih vpliva na številne individualne človekove pravice, na primer na zasebnost in varstvo osebnih podatkov, načelo enakosti in socialne pravičnosti, na avtonomijo posameznika in na njegovo dostojanstvo. Na mezo in makro družbeni ravni pa prihaja do vplivov na delovanje demokracije in povečanje ekonomske neenakosti ter vodi v družbeno razvrščanje prebivalstva.

Zavedamo se, da UI vstopa v specifičen socialno, kulturno-političen prostor obenem pa je tudi produkt specifične družbeno-ekonomske situacije, ki jo povratno tudi sama pomaga sooblikovati. UI je posledično lahko uporabljena tako za krepitev »negativnih« družbenih sprememb, npr. povečevanje ekonomske neenakosti na globalni ravni, širitev družbeno razdiralnih in sovražnih politik kot tudi sredstvo odpravljanja takšnih družbenih sprememb. V okviru projekta je naš cilj tako analizirati pravne dileme na izbranih pravnih področjih in identificirati nad-domenske, tj.skupne problematične značilnosti uporabe AI v odločevalskih procesih, kot so npr. netransparentnost sistemov odločanja z UI; težave povezane s kvaliteto in pristranostjo podatkov; samouresničujoče se prerokbe pri preveliki odvisnosti od preteklih učnihprimerov; nevarnosti podatkovnega maksimiranja; nesorazmerje moči, ki nastaja zaradi uporabe UI; nevarnosti podatkovnega determinizma in diskriminacije; zastraševalni učinek na pravice; ustvarjanje »odmevnih soban« pri personaliziranih storitvah ipd.

V tretjem delu, Regulacija in upravljanje UI, predhodno analizirane rabe UI postavljamo v etični in pravni okvir. V tem delu preučujemo različne etike in vrednote, ki jih imamo v mislih, ko govorimo o etiki v umetni inteligenci. Ena imed osrednjih tematik s katero se bomo ukvarjali je tudi varstvo osebnih podatkov, saj je UI doživela preporod ravno v času sprememb v intenzivnosti in obsegu zbiranja, obdelave in dostopa do osebnih podatkov. Temeljna načela varstva osebnih podatkov v EU so se razvila v obdobju pred digitalno revolucijo, zato pogosto nasprotujejo realnosti zbiranja in obdelave podatkov v dobi velikega podatkovja in UI.

Ker gre pri UI za globalne spremembe, ki jih ni mogoče regulirati samo na nacionalni ravni, se vprašanja odgovornosti UI, transparentnosti in posledic za človekove pravice že obravnavajo na mednarodnih forumih, npr. v okviru OECD, UNESCO, G20, EU, vendar celovit model upravljanja AI zanekrat še ni razvit. Mednarodno sodelovanje lahko zagotovi učinkovito globalno upravljanje, vendar pa se je obenem potrebno zavedati, da na področju UI hiter tehnološki razvoj in nesorazmernost informacij med oblikovalci politik na eni strani in skupnostjo, ki UI razvija in uporablja na drugi, resno ogrožata možnost vseh vpletenih deležnikov, da bi vprašanja, ki se odpirajo učinkovito naslovili. V okviru projekta se med drugim ukvarjamo z vprašanjem, kako zgraditi celovit in zanesljiv globalni režim upravljanja UI po zgledu modelov dobrega upravljanja na drugih področjih. Ker je učinkovito in odgovorno upravljanje mogoče izvesti le z dobro razvitimi kazalniki razvitosti UI je eden izmed ciljev našega projekta tudi vzpostavitev načrta enotnega informacijskega vira, ki bi ponujal celoviti vpogled v razvojne trende znotraj zapletenega področja UI. 

POMEN ZA RAZVOJ ZNANOSTI
Raziskovalni projekt bo pripomogel k poglabljanju znanja na področju UI v Sloveniji in tako pripomogel k temu, da se Slovenija na globalni ravni pozicionira kot ena izmed vodilnih držav na področju UI na globalni ravni. Vsled interdisciplinarne sestave raziskovalcev, ki sodelujejo pri izvedbi raziskovalnega projekta, bodo obogatene številne znanstvene discipline, predvsem kriminologija, pravo, filozofija, psihologija, javna uprava, globalno upravljanje, mednaroni odnosi ter računalništvo in informatika.
 
Poleg tega, da bo raziskovalni projekt pripomogel k razvoju navedenih znanstvenih disciplin v Sloveniji, bodo rezultati študije relevantni tudi za evropsko in svetovno akademsko skupnost. Vprašanja, ki jih nameravamo obravnavati so namreč globalnega pomena. Naš cilj je, da članki, conference, jesenska šola, objavljena monografija in ostali rezultati raziskave pripomorejo k izmenjavi in diseminaciji znanja na širši ravni. Obenem želimo z diseminacijo objavljenih člankov, udeležbo na mednarodnih konferencah ter organizacijo mednarodne conference in jesenske šole prispevati h krepitvi mednarodnega sodelovanja med slovenskimi in mednarodnimi strokovnjaki. Mreženje in vzdrževanje mednarodnih znanstvenih mrež sta pomembna pri iskanju partnerjev za sodelovanje v konzorcijih pri prijavah na projekte COST, Horizon 2020 in podobno. Prav tako nameravamo pridobljeno znanje prenesti na naše študente v Sloveniji in v tujini, kjer izvajamo predavanja, t.j., na pravnih fakultetah, filozofski fakulteti, fakuleteti za socialno delo, fakulteti za javno upravo in fakulteti za varnostne vede.
 
Z mapiranjem uporabe in razvoja UI v Sloveniji v okviru DS2 (“Uporaba UI v različnih domenah”), kjer bo naš cilj pokazati na možne pravne trke na številnih ločenih pravnih disciplinah ter preizprašati primernost večih pravnih režimov: pravo varstva konkurence, pravo zasebnosti in varstva osebnih podatkov, potrošniško pravo davčno pravo, kazensko in policijsko pravo, volilno pravo, bomo prispevali k pravnemu znanju v okviru kriminologije in navedenih pravnih ved. V DS3 (“Analiza uporabe UI v javnih politikah s študijskimi primeri”) želimo prispevati k naboru znanstvenih dognanj na področju javne uprave s prepoznavanjem rešitev s področja UI, ki bodo okrepile pravno in socialno državo ter pripomogle k dvigu kakovosti življenja slovenskih državljanov. Ob tem se želimo osredotočiti na iskanje trajnostnih rešitev, ki temeljijo na UI in iskanje pametnih rešitev, ki omogočajo vključevanje ranljivih skupin prebivalstva kot tudi na študije primerov dobrih praks uporabe UI v javnih politikah v tujini, v okviru obstoječih platform in  zagonskih podjetjih.  V okviru DS4 (“Vpliv UI na človekove pravice”) bomo k znanosti prispevali z analizo nasprotij med obstoječimi pravnimi koncepti in doktrinami ter človekovimi pravicami ter z iskanjem odgovora na vprašanje ali obstajajo nad-domenske skupne problematične značilnosti uporabe UI v odločevalskih procesih, kot so netransparentnost osnovnih parametrov odločanja; pristranosti podatkov, ki so vrednostno, interesno neizogibno kontaminirani; black-boxing učinki; samouresničujoče se prerokbe in nastanek začaranega kroga pri UI napovedovanju; težave s primeri, ki izstopajo iz povprečja (angl. outliers); nevarnosti podatkovnega maksimiranja (vis-à-vis temeljnemu načelu minimiziranja, ki velja v režimu varstva osebnih podatkov); težave povezane z nepravilnimi podatki; nesorazmerje moči, ki nastaja zaradi uporabe UI; nevarnosti podatkovnega determinizma in diskriminacije; zastraševalni učinek na pravice (angl. Chilling effect); ustvarjanje »eho soban« (angl. Echo chambers) pri personaliziranih storitvah. Raziskovalno delo v okviru DS5 (“Psihološke zagate UI”) se bo osredotočalo na iskanje odgovora na vprašanje kako lahko UI uporabimo za izboljšanje človekovega psihičnega počutja ter kakšni so načrti za njegovo uporabo v poklicih, ki se ukvarjajo z duševnim
POMEN ZA RAZVOJ SLOVENIJE
Konkurenčnost na svetovnem trgu
 
Sistemi UI so danes sposobni zmanjšati človeška prizadevanja na številnih področjih, zato se jih za optimizacijo delovanja svojih dejavnosti poslužujejo številna podjetja. Podjetja se nadejajo, da bodo s pomočjo UI zmanjšala človeška prizadevanja, dobila natančnejše, bolj učinkovite in hitrejše rezultate ter zmanjšala nevarnosti napak. Če slovenska podjetja želijo ostati konkurenčna na globalnem trgu je ključnega pomena, da obstoječi in potencialni podjetniki razumejo priložnosti, ki jih UI prinaša, obenem pa tudi škodo, ki jo lahko nove tehnologije povzročajo. V okviru DS2 bomo analizirali vpliv UI na podjetja, javni sektor in posameznike, pri čemer bomo poskušali identificirati tudi priložnosti, ki se za te akterje odpirajo. Osredotočali se bomo predvsem na naslednje gospodarske sektorje: analitika v bančnem sektorju, tvegane terjatve, tvegani komitenti; analitika v zavarovalnem sektorju, analitika zavarovalnih goljufij (predvidevamo sodelovanje s programskim podjetjem Optilab); analitika v poslovnih procesih.
 
UI se v veliki meri že uporablja v bančnih in finančnih sistemih pri vlaganju denarja v delnice, investiranju, izvajanju finančnih operacij, upravljanju z lastnino. Nove tehnologije prav tako vplivajo na poslovanje težkih industrij, ki UI uporabljajo za oblikovanje produktov, za premikanje predmetov iz enega konca na drugega kot tudi za vodenje podjetij na splošno, ki s pomočjo UI shranjujejo podatke, jih brez težav pridobijo ter najdejo vrzeli v organizaciji podjetja. Na področju zračnega prometa, naprimer, UI nadzira veliko število upravljalskih procesov, obenem pa je tudi rezervacijo letalskih kart ter upravljanje letov mogoče racionalizirati z uporabo UI. V zabavni industriji lahko posameznik igra računalniške igrice z boti in se udejstvuje v virtualni resničnosti. V številnih sektorjih se bodo podjetja morala prilagoditi in rezultati raziskave izvedene v okviru tega projekta jim bodo v pomoč pri prepoznavanju priložnosti, ki se odpirajo za vzpostavljanje UI vredne zaupanja ter pasti novih tehnologij, ki niso etično skladne z vrednotami družbe kot so zapisane v našem ustavnem pravnem okviru. Ena izmed pozitivnih posledic implementacije UI na katero podjetja računajo je izboljšanje učinkovitosti delovanja podjetja. Postavitev temeljev za mapiranje stanja in razvoja UI v Sloveniji, kar želimo doseči v okviru DS9, bo za doseganje cilja izboljšanja učinkovitosti podjetij nedvomno koristno. V okviru DS2 bomo organizirali tudi predstavitev kataloga indikatorjev, ki bodo osnova za načrt informacijskega vira, ki bo ponujal vpogled v stanje razvitosti UI v Sloveniji za načrtovalce nacionalnih strategij na Ministrstvu za javno upravo ter za gospodarstvenike in vodilne kadre v slovenski industriji na Gospodarski zbornici Slovenije. Raziskavi, ki ju bomo izvedli v okviru DS2 in DS9 bosta raznovrstnim podjetjem pomagali pri prepoznavanju priložnosti na področju UI, ki v Sloveniji obstajajo in ki se jih lahko poslužijo, obenem pa bosta podjetjem, ki se ukvarjajo specifično s tehnološkimi rešitvami lahko pokazali na še neizčrpane poslovne priložnosti, ki jih lahko izkoristijo. 
 
Pravna ureditev UI
 
Področje UI je še vedno relativno novo, zato pravni režimi ki urejajo vprašanja UI niso niti ustrezni niti dosledni. Eden izmed ciljev raziskovalnega projekta bo pokazati na potencialne pravne trke (DS4 in DS7) do katerih lahko pride v številnih pravnih disciplinah obenem pa bo cilj tudi prespraševati primernost naslednjih pravnih režimov glede na novo nastale potrebe UI: konkurenčno pravo, pravo varstva zasebnosti, pravo vasrtva osebnih podatkov, vasrtvo potrošnikov, kazensko in policijsko pravo ter pravo na področju volilne zakonodaje. Poznavanje zakonskih vrzeli pri ureditvi UI ter izzivov s katerimi se zakonodajalci soočajo je izrednega pomena za obstoječa podjetja kot tudi za potencialne nove podjetnike, da se zav

Člani raziskovalnega projekta

REZULTATI PROJEKTA

Zbornik povzetkov konference Umetna inteligenca, človekove pravice in družbena škoda (PDF)

Lukšič Ž, Tanevski J, Džeroski S, Todorovski L (2019) Meta-model framework for surrogate-basedparameter estimation in dynamical systems. IEEE Access 7: 181829 -181841. DOI: 10.1109/ACCESS.2019.2959846. Dostopen na https://doi.org/10.1109/ACCESS.2019.2959846

Tanevski J, Todorovski L, Džeroski S (2019) Combinatorial search for selecting the structure of models of dynamical systems with equation discovery. Engineering Applications of Artificial Intelligence 89: 103423-1–103423-14. DOI: 10.1016/j.engappai.2019.103423. Dostopen na https://doi.org/10.1016/j.engappai.2019.103423

Simidjievski N, Todorovski L, Kocijan J, Džeroski S (2020) Equation discovery for nonlinear systemi dentification. IEEE Access 8: 29930–29943. DOI: 10.1109/ACCESS.2020.2972076. Dostopen na https://doi.org/10.1109/ACCESS.2020.2972076

Završnik, Aleš. Criminal justice, artificial intelligence systems, and human rights. ERA-Forum : scripta iuris europaei. Print ed. Mar. 2020, vol. 20, iss. 4, str. 567-583. ISSN 1612-3093. https://link.springer.com/article/10.1007%2Fs12027-020-00602-0, DOI: 10.1007/s12027-020-00602-0. [COBISS.SI-ID 2199630], [SNIP]

Šarf, Pika. Zagotavljanje kibernetske varnosti v okviru Skupne zunanje in varnostne politike EU. Pravnik : revija za pravno teorijo in prakso. [Tiskana izd.]. 2020, letn. 75, št. 1/2, str. 89-110, 117-118. ISSN 0032-6976. [COBISS.SI-ID 17186897]

Križnar. P.: Kazenske sankcije in algoritmi: Kaznovanje v1.0, Revija za kriminalistiko in kriminologijo, letn. 70, št. 1, 2019.

Križnar. P.: Načelo (ne)enakosti pri izrekanju kazenskih sankcij, Pravna praksa: časopis za pravna vprašanja, leto 38, št. 38/39, 2019.

Šarf, P. in Križnar, P.: Vpeljava algoritmov v kazenski postopek: primer odmerjanja kazenskih sankcij, Zbornik konference kazenskega prava in kriminologije, Lexpera, GV Založba, Ljubljana 2018.

 

Todorovski L (2019) Umetna inteligenca danes: miti in resnice. Vabljeno predavanje na poslovni konferenci “D4T4 2019: Inovativni pristopi k analitičnim projektom”, 14. novembra 2019 v Ljubljani. Več informacij na https://www.in516ht.com/event/data-2019/

Završnik, Aleš. Algorithms, big data and human rights in criminal justice : predavanje na Faculté de Droit, de Sciences Politiques et de Gestion, Université de Strasbourg, Strasbourg, 7. februar 2020. [COBISS.SI-ID 2200654]

Završnik, Aleš. Avtomatizacija pravičnosti = Automating justice : prispevek na Festival Grounded ʺAvtomatizacija in oblastʺ, Ljubljana, 14.11.-16.11.2019. [COBISS.SI-ID 2162254]

Završnik, Aleš. Avtonomna vozila in kazenska odgovornost : prispevek na 12. konferenci kazenskega prava in kriminologije, Portorož, Grand Hotel Bernardin, 3. in 4. december 2019. [COBISS.SI-ID 2162766]

Završnik, Aleš. Umetna inteligenca – implikacije za človekove pravice : predavanje na jesenski šoli Pravo pred izzivi digitalne (r)evolucije, Pravna fakulteta, 25. do 27.september 2019, Ljubljana. [COBISS.SI-ID 2153550]

Završnik, Aleš. Umetna inteligenca in kazenska odgovornost : prispevek na 45. dnevih slovenskih pravnikov, Portorož, GH Bernardin, 10. do 12. oktober 2019. [COBISS.SI-ID 2172238]

Završnik, Aleš. A.I. and its implications for criminal justice across Europe : prispevek na Leap Annual Conference 2020: Our 2020 vision for criminal justice in Europe, 28 – 29 February, Lisbon. [COBISS.SI-ID 2200398]

Završnik, Aleš. Poglej naprej – sodstvo in avtomatizacija : trendi in pasti : prispevek na 10. konferenci dobrih praks v sodstvu, 12. december 2019, Kongresni center Brdo pri Kranju. [COBISS.SI-ID 2172494]

Todorovski, Ljupčo.  So-organizator dogodka NetSlo 2020, šestega letnega srečanja raziskovalcev s področja analize kompleksnih omrežij na Fakulteti za računalništvo in informatiko Univerze v Ljubljani, 23. januarja 2020. Kratek prispevek in intervju o srečanju je pripravil POP TV v okviru oddaje 24 ur in je dostopen na naslovu https://www.24ur.com/video?video=62375141

Šarf, Pika. Avtomatizacija nadzora na območju svobode, varnosti in pravice : prispevek na 12. konferenci kazenskega prava in kriminologije, Portorož, Grand Hotel Bernardin, 3. in 4. december 2019.

Šarf, Pika (diskutant), Okorn, Rok (diskutant), Emeršič, Žiga (diskutant), Savič, Domen (diskutant, avtor). Face recognition : prakse in problemi : okrogla miza, Kreativni center Poligon, 20. 11. 2019, Ljubljana. [COBISS.SI-ID 2181198]

Dobranić, Filip (diskutant), Šarf, Pika (diskutant), Koren Ošljak, Katja (diskutant), Masten, Aljoša (diskutant), Savič, Domen (diskutant, avtor). Informacijska družba : kje smo in kam gremo? : okrogla miza, Kreativni center Poligon, 1. 12. 2019, Ljubljana. [COBISS.SI-ID 2180942]

Šarf, P. in Križnar, P.: Vpeljava algoritmov v kazenski postopek: primer odmerjanja kazenskih sankcij, prispevek na 11. konferenci kazenskega prava in kriminologije v Portorožu.

Križnar. P.: Načelo (ne)enakosti pri izrekanju kazenskih sankcij, prispevek na jesenski pravni šoli Pravo pred izzivi digitalne (r)evolucije v Ljubljani.

Todorovski, Ljupčo (intervjuvanec).  Nastop/intervju v oddaji Točka preloma, RTVSlo na temo umetna inteligenca in kibernetski napadi, 7. novembra 2019. Dostop za registrirane uporabnike na https://4d.rtvslo.si/arhiv/tocka-preloma/174649770

Šarf, Pika (intervjuvanec). Prevzeti moramo del odgovornosti, ker nam ni vseeno za zasebnost. Ljubljana: Radiotelevizija Slovenija javni zavod, 2020. 1 spletni vir (1 zvočna datoteka (25 min, 53 sek)). Odbita do bita. https://val202.rtvslo.si/2020/03/prevzeti-moramo-del-odgovornosti-ker-nam-ni-vseeno-za-zasebnost/. [COBISS.SI-ID 2203470]

Šarf, Pika (intervjuvanec). Vsakokratno branje drobnega tiska bi nam vzelo 8 let življenja. Ljubljana: Radiotelevizija Slovenija javni zavod, 2020. 1 spletni vir (1 zvočna datoteka (17 min, 03 sek)). Odbita do bita. https://val202.rtvslo.si/2020/02/odbita-do-bita-162/. [COBISS.SI-ID 2202958]

Šarf, Pika (intervjuvanec). Zasebnosti smo se prostovoljno odpovedali. Ljubljana: Radiotelevizija Slovenija javni zavod, 2020. 1 spletni vir (1 zvočna datoteka (23 min, 50 sek)). Odbita do bita. https://val202.rtvslo.si/2020/02/odbita-do-bita-163/. [COBISS.SI-ID 2203214]

Petković M, Simidjievski N, Todorovski L (2020) Uporaba strojnega učenja za modeliranje dinamike spreminjanja števila oseb okuženih z virusom COVID-19 v Sloveniji: poročilo, ki ga sproti posodabljamo je dostopno na naslovu http://kt.ijs.si/~ljupco/covid-19-sir/report.nb.html

12.2.2020 smo na Pravni fakulteti v Ljubljani organizirali okroglo mizo Od demokracije do algokracije, na kateri smo gostili dr. Jeleno Burnik in dr. Majo Brkan. Dostop do prve epizode podcasta Inštituta za kriminologijo pri Pravni fakulteti v Ljubljani, kjer je mogoče poslušati predavanje dr. Maje Brkan:

https://criminology.bandcamp.com/track/epizoda-1-dr-maja-brkan-univerza-v-maastrichtu?fbclid=IwAR1jhLDkNEvoUYI8x-bozc8G2071FpTR-xbr-ICB3J8fFgl1nWehgrFdO4Y

et|icon_pin_alt|

Inštitut za kriminologijo
Poljanski nasip 2
1000 Ljubljana

et|icon_mail_alt|
et|icon_phone|

Copyright © Inštitut za kriminologijo pri Pravni fakulteti v Ljubljani

Pravno obvestilo