collaboration
9.8K views | +1 today
Follow
Your new post is loading...
Your new post is loading...
Scooped by Pál Kerékfy
Scoop.it!

Elfogult gép ítélkezik?

Elfogult gép ítélkezik? | collaboration | Scoop.it

There’s software used across the country to predict future criminals. And it’s biased against blacks.

ON A SPRING AFTERNOON IN 2014, Brisha Borden was running late to pick up her god-sister from school when she spotted an unlocked kid’s blue Huffy bicycle and a silver Razor scooter. Borden and a friend grabbed the bike and scooter and tried to ride them down the street in the Fort Lauderdale suburb of Coral Springs.

Just as the 18-year-old girls were realizing they were too big for the tiny conveyances — which belonged to a 6-year-old boy — a woman came running after them saying, “That’s my kid’s stuff.” Borden and her friend immediately dropped the bike and scooter and walked away.

But it was too late — a neighbor who witnessed the heist had already called the police. Borden and her friend were arrested and charged with burglary and petty theft for the items, which were valued at a total of $80.

Pál Kerékfy's insight:

Rendszerűen elfogult “okos” gépet használnak az amerikai igazságszolgáltatásban már hosszú évek óta. A gép 1-10-ig osztályozza az elkövetőket, hogy mennyire valószínű az újabb bűncselekmény elkövetése. Ezt elég hangsúlyosan veszik figyelembe az ítélet súlyosságának meghatározásakor, sőt már korábban is, amikor eldöntik, hogy szabadlábon védekezhet-e az illető.

A gépben titkos algoritmus dolgozik, ami 137 kérdés alapján saccolja meg a jövőt. Különböző utólagos elemzések szerint 65-70%-os eséllyel találja el, hogy visszaeső lesz-e az illető.

A cikk szerzői utólag elvégezték két év és 7000 eset elemzését. Ez azt mutatta, hogy nagyon eltérően téved a gép fehérek és feketék esetében. A magas kockázatúnak minősített fehérek 23%-a nem követett el újabb bűncselekményt 2 éven belül, a feketéknek viszont 45%-a maradt tiszta. Az alacsony kockázatúnak minősített fehéreknek 48%-a esett bűnbe, a feketéknek csak 28%-a. Elég durva eltérések vannak a hibaszázalékokban!

Az okát nem könnyű megmondani, de valószínűleg itt is az történik, mint más területeken (pl.: HR). A régen meglévő előítéletek épülnek be (valószínűleg nem szándékosan) a programokba. Hogy történhet ez?  A döntés múltbeli adatok, statisztikák alapján történik. Azok pedig tartalmazzák a múltbeli előítéleteket is.

Itt nem valódi mesterséges intelligenciával állunk szemben, de annak elemei megjelennek a program működésében. A mesterséges intelligenciát felelősen kutatók és használók egyre gyakrabban teszik fel a kérdést, hogy értjük-e a gép döntéseit. Új irányzat, hogy a gépnek kelljen elmagyaráznia, hogy mi vezetett a döntéséhez. Ez az “explainable” vagy “understandable” mesterséges intelligencia. Óriási előrelépés lenne, ha általánossá válna!

#legal #AI #bias #artificial_intelligence #USA #Florida #profiling

No comment yet.
Scooped by Pál Kerékfy
Scoop.it!

AI automation starts to transform legal profession

Artificial intelligence and automation are making inroads into legal work, but are more likely to support than displace lawyers and will draw IT more into legal service delivery.
Pál Kerékfy's insight:

Apró lépések már történtek, de a nagy áttörés még arrébb van. A cikkben két angliai esetet említenek, amikor emberi munka és kulcsszavas keresés helyett szoftvert alkalmaztak dokumentumok relevanciájának eldöntésére. A bíró indoklása el is magyarázza, hogy hogyan (http://www.bailii.org/ew/cases/EWHC/Ch/2016/256.html a Predictive Coding fejezetben).

Mik voltak a szempontok? Költség és konzisztencia. Az adott ügyben 3 millió dokumentumot kellett átnézni, és azok közül kiválogatni az ügy eldöntésében lényegeseket. Ezt emberi erővel sok pénz és idő felhasználásával lehet megtenni, és egyáltalán nem biztos, hogy nem lesz benne sok hiba. A szoftveres megoldás a “mesterséges intelligencia” szokásos betanítási módszerét követte: kisebb mintán (1600-1800) megmutatják a szoftvernek, hogy mik a fontos dokumentumok, majd a szoftver keres. Az eredmények egy részét megvizsgálják emberek, és visszajeleznek a gépnek, hogy jól dolgozott-e.

Ez még csak a kezdet, itt a gépnek még elég csekély szerepe van a per eldöntésében, de már ezen a kezdeti szinten is számít a szoftver minősége és az esetleges szándékosan beleírt “hiba”. (Néhány példa itt: http://www.scoop.it/t/collaboration-by-pal-kerekfy/p/4077620353/2017/04/14/will-the-future-be-filled-with-biased-robots-startup-grind-medium )

A mesterséges intelligencia kutatói arra számítanak, hogy hamarosan ennél komolyabb szerepe is lesz a gépnek jogi területen is.

A mesterséges intelligencia alapelvei között erről is esik szó: http://www.scoop.it/t/collaboration-by-pal-kerekfy/p/4075560848/2017/02/21/ai-principles-future-of-life-institute

#AI #legal #predictive

No comment yet.