collaboration
8.3K views | +5 today
Follow
Your new post is loading...
Scooped by Pál Kerékfy
Scoop.it!

Elfogult gép ítélkezik?

Elfogult gép ítélkezik? | collaboration | Scoop.it

There’s software used across the country to predict future criminals. And it’s biased against blacks.

ON A SPRING AFTERNOON IN 2014, Brisha Borden was running late to pick up her god-sister from school when she spotted an unlocked kid’s blue Huffy bicycle and a silver Razor scooter. Borden and a friend grabbed the bike and scooter and tried to ride them down the street in the Fort Lauderdale suburb of Coral Springs.

Just as the 18-year-old girls were realizing they were too big for the tiny conveyances — which belonged to a 6-year-old boy — a woman came running after them saying, “That’s my kid’s stuff.” Borden and her friend immediately dropped the bike and scooter and walked away.

But it was too late — a neighbor who witnessed the heist had already called the police. Borden and her friend were arrested and charged with burglary and petty theft for the items, which were valued at a total of $80.

Pál Kerékfy's insight:

Rendszerűen elfogult “okos” gépet használnak az amerikai igazságszolgáltatásban már hosszú évek óta. A gép 1-10-ig osztályozza az elkövetőket, hogy mennyire valószínű az újabb bűncselekmény elkövetése. Ezt elég hangsúlyosan veszik figyelembe az ítélet súlyosságának meghatározásakor, sőt már korábban is, amikor eldöntik, hogy szabadlábon védekezhet-e az illető.

A gépben titkos algoritmus dolgozik, ami 137 kérdés alapján saccolja meg a jövőt. Különböző utólagos elemzések szerint 65-70%-os eséllyel találja el, hogy visszaeső lesz-e az illető.

A cikk szerzői utólag elvégezték két év és 7000 eset elemzését. Ez azt mutatta, hogy nagyon eltérően téved a gép fehérek és feketék esetében. A magas kockázatúnak minősített fehérek 23%-a nem követett el újabb bűncselekményt 2 éven belül, a feketéknek viszont 45%-a maradt tiszta. Az alacsony kockázatúnak minősített fehéreknek 48%-a esett bűnbe, a feketéknek csak 28%-a. Elég durva eltérések vannak a hibaszázalékokban!

Az okát nem könnyű megmondani, de valószínűleg itt is az történik, mint más területeken (pl.: HR). A régen meglévő előítéletek épülnek be (valószínűleg nem szándékosan) a programokba. Hogy történhet ez?  A döntés múltbeli adatok, statisztikák alapján történik. Azok pedig tartalmazzák a múltbeli előítéleteket is.

Itt nem valódi mesterséges intelligenciával állunk szemben, de annak elemei megjelennek a program működésében. A mesterséges intelligenciát felelősen kutatók és használók egyre gyakrabban teszik fel a kérdést, hogy értjük-e a gép döntéseit. Új irányzat, hogy a gépnek kelljen elmagyaráznia, hogy mi vezetett a döntéséhez. Ez az “explainable” vagy “understandable” mesterséges intelligencia. Óriási előrelépés lenne, ha általánossá válna!

#legal #AI #bias #artificial_intelligence #USA #Florida #profiling

more...
No comment yet.
Scooped by Pál Kerékfy
Scoop.it!

Elfogult mesterséges intelligencia?

Elfogult mesterséges intelligencia? | collaboration | Scoop.it
Most enterprises today know to avoid obvious sources of bias when building AI tools, but relatively few are aware of the risk of unconscious algorithmic bias.

To fix bias, you have to be aware that it's arising from the data, and you have to correct for the bias that's in the data.

Pál Kerékfy's insight:

Ahogy egyre több a “mesterséges intelligencia” címkével ellátott szoftver futkos körülöttünk, egyre inkább előtérbe kerül az a kérdés, hogy mennyire jók és pontosak ezek. Az elmúlt napokban az új technológiájú képfelismerő algoritmusok furcsa és meglepő hibáiról írtam:

Hogy verjük át könnyen és egyszerűen a mesterséges intelligenciát?

Teknős vagy lőfegyver? Meg tudjuk különböztetni?

 

Régebbről ismerünk kevésbé meglepő hibákat. Ezekben nyilvánvaló volt a rossz működés oka: hibásak (egyoldalúak) voltak az adatok, amikből tanult a gép. Az egyik példáról itt lehet olvasni: Intelligens félelem. Ismertek képfelismerési hibák is: négert gorillának látott a gép, a súlyzó és az alkar együtt volt számára a “súlyzó”. Ezekben mind az a közös, hogy a gép tanítására használt adatok (képek) nem jól voltak kiválogatva, és a gép nem tudott értelmesen látni. (Ezeket a hibákat még egy kicsi gyerek se követné el!)

 

Ez a mostani cikk “finomabb” hibákról szól, olyanokról, amiket nem ennyire könnyű kiszúrni. Főleg azzal a lehetőséggel foglalkozik, hogy az “okos” gép esetleg hátrányosan különböztetne meg embercsoportokat (színeseket, nőket, …).

Erre akkor van komoly esély, ha a tanításánál használt adatokban alul vannak reprezentálva ezek a csoportok. Ha az éles használatba vétel előtt nem szűrik ki az ilyen hibákat, akkor igen kellemetlen helyzetbe kerülhet a cég, sőt súlyos büntetéseket is kaphat!

 

Itt egy példa az egyoldalú alapadatokra: A képeken, amiken egy ember tevékenykedik a konyhában, szinte mindig nők vannak, ezért a gép a konyhában lévő embereket hajlamosabb nőnek tekinteni, mint férfinak.

 

Szeretném megjegyezni, hogy nem kell mesterséges intelligencia az ilyen hibák elkövetéséhez. Az amerikai nagyvállalatok által sok éve használt előszűrő rendszerek szintén “elfogultak”. Az HR-esek tudatalatti elfogultsága jelenik meg bennük. Hasonló a probléma a bűnüldözésben használt “profilozó” szoftverekkel.

Nem azt látom igazi bajnak, hogy elfogult a gép, hiszen az ember is az. Akkor van baj, ha automatikusan elfogadjuk a gép véleményét – és ez sajnos eléggé tipikus. Hiszen éppen azért használjuk a gépet, hogy olcsón és gyorsan elvégezze ezt a munkát. Ha utána alaposan ellenőriznénk, akkor mire való a gép? Akkor magunk is elvégezhetnénk a munkát…

 

#bias #artificialintelligence #AI #algorithm #unconscious #imagerecognition

more...
No comment yet.
Scooped by Pál Kerékfy
Scoop.it!

Évek óta titokban figyelik New Orleans lakóit a Palantir technológiájával

Évek óta titokban figyelik New Orleans lakóit a Palantir technológiájával | collaboration | Scoop.it
Még a városvezetők sem tudtak arról, hogy a lakosokat 2012 óta megfigyelik, és egy algoritmus alapján listázzák potenciális bűnözőként vagy áldozatként. A bűnügyi előrejelző szoftverek hatékonysága ráadásul erősen vitatott, nem beszélve arról, hogy kritikusok szerint csak a rendőrségi előítéleteket nagyítják fel.
Pál Kerékfy's insight:

Erről a témáról tervezgetek egy írást néhány hónapja, így most éppen kapóra jött ez a cikk, amit egy kedves tanár ismerősöm küldött el a napokban.

A lényeg nagyon egyszerű: adatok elemzésével foglalkozó cég és a polgármester (titkos) megállapodása alapján sok éve minden nyilvános adatot és titkos rendőrségi információt összegyűjtenek az emberekről. Az egész “filantróp” címke alatt fut, de valójában nem az emberek életének a javítása az eredmény, hanem eddig elképzelhetetlen mértékű megfigyelés és beavatkozás az emberek életébe.

A számítógépes bűnügyi előrejelzésnek már hosszú története van az Egyesült Államokban. Az eredmények a legjobb esetben is kétségesek. Valójában az történik, hogy a rendőri elfogultságot számítógépes modellekbe építik be, és így a gépre lehet fogni az egészet. (Ezt a jelenséget már más területen is megfigyelték. A munkaügyi, személyzeti döntések esetében is ez történik.) A bírósági ítéletek mértékének eldöntésénél is sok éve teszi gép a javaslatot egyes államokban. Akinek rossz a családi háttere, alacsony az iskolázottsága, már az apja is ült börtönben, súlyosabb büntetést kap, mert ő veszélyesebb a társadalomra. Ez egy ördögi kör, egymást erősítik a statisztikák és az elfogult döntések.

#Lousiana #NewOrleans #Palantir #bigdata #prediction #predictivepolicing #filantrop #philantrope #police #bias #előítélet

more...
No comment yet.
Curated by Pál Kerékfy
collaboration expert, CIO, mathematician, university teacher

I share my experience in collaboration, IT service management, risk & security with students and others.

My blog:

https://kerekfypal.blog