Človek v zanki AI: celovit strokovni vodnik

Človek v zanki AI (HITL) je vzorec oblikovanja, kjer ljudje aktivno nadzorujejo, potrjujejo in obvladujejo izhode AI na ključnih odločitvenih točkah, namesto da bi sistem deloval popolnoma samostojno. To ni nadomestilo za šibko AI. To je namerna arhitekturna izbira, ki naredi AI sisteme bolj zanesljive, bolj odgovorne in pravno utemeljene, zlasti pod okviri, kot je EU AI uredba.

Za strokovnjake, ki delajo v srednji Evropi, ta razlika nosi resno težo. EU AI uredba, ki je začela veljati avgusta 2024, uvaja obvezujoče zahteve po človeškem nadzoru nad visokorizičnimi AI sistemi, z globe za nespoštovanje, ki lahko dosežejo do 35 milijonov EUR ali 7 % svetovnega prometa za kršitve, ter do 3 % svetovnega letnega prometa za pomanjkljivosti pri nadzoru. Pravilna implementacija HITL ni opcija za organizacije v reguliranih sektorjih.

Kaj je človek v zanki AI?

Umna inteligenca z vključitvijo človeka (HITL) se nanaša na vsak AI sistem, zasnovan tako, da lahko človek pregleda, popravi ali odobri rezultate, preden ti sprožijo posledice v resničnem svetu. Izraz izvira iz inženiringa krmilnih sistemov, kjer 'zanka' opisuje povratni cikel med sistemom in njegovim okoljem. Vključitev človeka v to zanko pomeni, da cikel ni zaključen brez človekovega odobritve.

Trije ključni elementi opredeljujejo pristno postavitev HITL:

• Človeški pregled: Kvalificirana oseba pregleda rezultate, ki jih je ustvaril AI, preden se nanje ukrepa, ne le beleženje.
• Pooblastilo za popravek: Pregledovalec lahko brez težav ali organizacijskega pritiska spremeni, zavrne ali prevlada nad predlogom AI.
• Integracija povratnih informacij: Človeški popravki se vrnejo v model in sčasoma izboljšujejo prihodnje rezultate.

HITL spada v širšo družino nadzornih modelov: človek na zanki (HOTL), kjer ljudje nadzorujejo, a ne posegajo v vsak cikel, in človek v poveljstvu (HIC), kjer ljudje ohranijo končno oblast nad celotnim sistemom. Pravi model je odvisen od ravni tveganja, količine odločitev in regulativnega konteksta uporabe.

Po uredbi EU o AI morajo visokotveganjski AI sistemi, ki pokrivajo področja, kot so biometrična identifikacija, kritična infrastruktura, zaposlitveni pregledi in medicinske naprave, zakonsko podpirati učinkovit človeški nadzor. Člen 14 te uredbe navaja pet različnih zmogljivosti, ki jih morajo omogočati mehanizmi nadzora, vključno z možnostjo razumevanja vedenja sistema, odkrivanja napak ter posredovanja ali ustavitve sistema, kadar je to potrebno.

Kako pravzaprav deluje umetna inteligenca z vključitvijo človeka?

Mehanika HITL sledi strukturiranemu delovnemu toku z določenimi človeškimi točkami stika. Razumevanje, kje se te točke nahajajo in katera orodja jih podpirajo, loči pravi sistem HITL od tistega, ki le trdi, da ima človeški nadzor.

Glavno delovno opravilo:

1. Vhodna faza: Podatki vstopijo v AI sistem. Ljudje lahko preverijo kakovost podatkov ali označijo nepravilnosti pred začetkom obdelave.
2. Faza obdelave: AI analizira vhod in ustvari kandidatni izhod, običajno s pripeto oceno zaupanja.
3. Faza pregleda: Človeški pregledovalec pregleda izhod, oceno zaupanja in morebitna pojasnila. Potrdi, spremeni ali zavrne.
4. Faza povratnih informacij: Odločitev pregledovalca se zabeleži in, kjer je primerno, uporablja za ponovno usposabljanje ali prekaliibracijo modela.
5. Faza izvedbe: Šele po človeškem odobritvi izhod sproži nadaljnjo akcijo.

Orodja, ki omogočajo nadzor:

• Ocene zaupanja, ki označujejo izhode z nizko gotovostjo za obvezni pregled
• Vmesniki za pojasnjevanje (kot so SHAP ali LIME vizualizacije), ki pokazujejo, zakaj je AI prišel do sklepa
• Nadzorne možnosti za preglasitev, ki so enostavno dostopne in brez družbenih posledic ob uporabi
• Revizijski dnevniki, ki beležijo vsako človeško odločitev skupaj z izvirnim predlogom AI
• Funkcije za varno ustavitev, ki omogočajo pregledovalcem, da ustavijo sistem brez eskalacije

Delovni proces HITL zahteva, da so razumljivi izhodi, možnosti za preglasitev in zmožnosti za intervencijo v realnem času vgrajeni že od začetka, ne pa dodani kasneje. Sistemi, ki gumb za preglasitev skrijejo v tri menije globoko, niso zares HITL, ne glede na to, kaj pravi dokumentacija.

V primerjavi s človeškim nadzorom na daljavo, kjer človek spremlja nadzorne plošče in poseže le, ko nekaj ni prav, je HITL počasnejši, a bistveno zanesljivejši pri odločitvah z velikimi tveganji. HOTL deluje dobro za zrele, dobro kalibrirane sisteme z nizko stopnjo napak. HITL je prava izbira, ko je strošek ene napačne odločitve visok.

Ključne prednosti umetne inteligence s človeškim nadzorom

Razlog za HITL presega skladnost z uredbami. Spremeni, čemu lahko AI sistemi dejansko zaupamo.

• Odkritje napak pred nastopom škode. Človeški pregledovalci odkrijejo napake, ki jim zanesljivostni rezultati ne prizanesejo, zlasti v izjemnih primerih, na katerih model ni bil usposobljen. Za boljšo zanesljivost v ključnih področjih, kot sta zdravstvena oskrba in izvrševanje zakona, je ta plast ključna.
• Zmanjšanje pristranskosti zaradi avtomatizacije. Brez aktivnega načrtovanja proti njej ljudje običajno nekritično sprejemajo rezultate AI. Sistemi HITL, ki omogočajo enostavno in družbeno podprto prevlado, neposredno zavirajo to tendenco.
• Nenehno izboljševanje modela. Človeški pregledovalci delujejo kot skrbniki, ne le kot preverjevalci. Njihove korekcije zagotavljajo označene podatke, ki s časom izboljšajo natančnost modela in zmanjšajo količino primerov za kasnejše pregledovanje.
• Odgovornost in preglednost. Vsaka odločitev ima imenovanega človeškega lastnika. To je zelo pomembno v reguliranih industrijah, kjer je treba regulatorju pokazati, kdo je kaj odobril in kdaj.
• Pravna skladnost. Za organizacije, ki uvajajo visokorizične AI v EU, HITL ni zgolj dobra praksa. To je pravna zahteva po 14. členu AI Akta EU.
• Zaupanje uporabnikov in deležnikov. Izdelki in storitve, ki temeljijo na preverjenem človeškem pregledu, imajo večjo verodostojnost pri strankah, partnerjih in regulatorjih kot tisti, ki se zanašajo na popolnoma avtomatizirane izhode.

Izzivi in omejitve, na katere se morate pripraviti

HITL ni brezplačen in prikrivanje tega vodi do slabo zasnovanih sistemov, ki odpovejo v realnih razmerah.

• Meja skalabilnosti. Človeška pozornost je omejena. S povečanjem obsega AI izhodov raste tudi število potrebnih pregledovalcev, razen če sistem skrbno usmerja le resnično negotove primere k ljudem.
• Stroški. Usposobljeni pregledovalci stanejo. V proizvodnih okoljih lahko stroški HITL postanejo velik proračunski postavki, še posebej, če so visoke stopnje lažno pozitivnih primerov, ki povzročajo nepotrebne vrste pregledov.
• Človeške napake in kognitivne pristranskosti. Pregledovalci imajo svoje slepe kote. Utrujenost, sidranje in časovni pritisk slabšajo kakovost pregleda, včasih celo pod osnovno natančnost AI.
• Utrujenost nadzornikov. Visoka količina opozoril sčasoma zmanjša pozornost pregledovalcev. Sistem, ki označuje preveč nizkorizičnih primerov, trenira pregledovalce, da hitro odobrijo brez resničnega pregleda, kar je nasprotje smiselnega nadzora.
• Izpostavljenost zasebnosti. Človeški pregledovalci, ki vidijo občutljive podatke, kot so zdravstvene kartoteke, finančne transakcije ali osebni dokumenti, ustvarjajo obveznosti varovanja podatkov po GDPR. Organizacije morajo opredeliti, kdo kaj lahko vidi, pod kakšnimi pogoji in kako dolgo.
• Neenotnost med pregledovalci. Različni pregledovalci sprejemajo različne odločitve pri enakih primerih. Brez kalibracijskih protokolov in preverjanj zanesljivosti med ocenjevalci sistemi HITL proizvajajo neenotne izhode, ki slabijo signal za učenje modela.

Najpogostejša oblika neuspeha ni, da je HITL prepočasen. Je, da organizacije uvedejo HITL brez načrtovanja za te omejitve in jih potem odkrijejo pod proizvodno obremenitvijo.

Kje se HITL AI uporablja v praksi

Pristopi z vključenim človekom se pojavljajo v različnih panogah, kjer je strošek avtomatske napake dovolj velik, da upraviči dodatne stroške človeškega pregleda.

• Zdravstvena diagnostika. Orodja za podporo kliničnemu odločanju opozorijo na morebitne diagnoze ali medsebojno delovanje zdravil za pregled zdravnika. Umetna inteligenca zoži nabor možnosti; zdravnik sprejme odločitev. To je ustaljena praksa pri umetni inteligenci v radiologiji, kjer sistemi na posnetkih poudarijo področja zanimanja, vendar radiolog vsako ugotovitev potrdi, preden je vnesena v pacientov zdravstveni zapis.
• Oskrbovalna veriga in nadzor kakovosti. Umetna inteligenca za oskrbovalne verige v podjetjih dodeljuje naloge povzemanja in označevanja avtomatiziranim sistemom, medtem ko strokovnjaki pregledajo ključne rezultate, preden so dokončno potrjeni. Okvir AEGIS-Chain na primer avtonomno obdela 78.4% rutinskih odločitev, medtem ko situacije s pomembnimi posledicami posreduje človeškim pregledovalcem, pri tem pa ohranja popolno, nespremenljivo sled odločitev v vseh operativnih ciklih.
• Preverjanje identitete in odkrivanje goljufij. Finančne institucije uporabljajo umetno inteligenco za ocenjevanje transakcij ali preverjanj identitete, nato pa mejne primere usmerijo k človeškim analitikom. Pri nekaterih sistemih za identifikacijo z visokim tveganjem je treba odločitve preveriti pred ukrepanjem z vsaj dvema pristojnima človeškima pregledovalcema.
• Moderiranje vsebine. Platforme uporabljajo umetno inteligenco za obsežno odkrivanje kršitev pravil, vendar človeški moderatorji pregledujejo pritožbe, mejne primere in kategorije vsebin z visoko občutljivostjo, pri katerih kontekst določa zakonitost.
• Upravljanje podatkov o izdelkih. Platforme, kot je Dppgrid, uporabljajo umetno inteligenco za pridobivanje in urejanje podatkov o izdelkih iz dokumentov dobaviteljev, vendar človeški uporabniki te informacije pregledajo in odobrijo, preden so objavljene v digitalnem potnem listu izdelka. Predlogi, ustvarjeni z umetno inteligenco, se nikoli samodejno ne obravnavajo kot preverjena dejstva.
• Pravni pregled in pregled skladnosti. Orodja za analizo pogodb označijo določila, ki jih mora pregledati odvetnik. Umetna inteligenca obvladuje obseg dela; odvetnik opravi presojo.

Etična vprašanja in odgovornost po pravu EU

Etični razlog za HITL je v srednji Evropi neločljivo povezan z pravnim. EU AI uredba ne obravnava človeškega nadzora kot tehnične podrobnosti, temveč kot temeljno varovalo.

Člen 14 uredbe EU o AI zahteva, da so visokorizični AI sistemi zasnovani tako, da človeški nadzorniki v celoti razumejo zmožnosti in omejitve sistema, zaznavajo in odpravljajo napake ter po potrebi posegajo ali ustavljajo sistem. Ključno je, da morajo biti funkciji preklica in zaustavitve lahko dostopni in družbeno podprti. Kultura, v kateri se pregledovalci počutijo pod pritiskom, da brez vprašanj sprejemajo izhode AI, pomeni neusklajenost s predpisi, ne le oblikovno napako.

Pristranskost do avtomatizacije je osrednje etično tveganje v sistemih z vključitvijo človeka. Ljudje imajo naravno tendenco opraviti z zaupanjem v izide algoritmov, še posebej, ko ti pridejo s visoko oceno zaupanja in je pregledovalec pod časovnim pritiskom. Preprečevanje tega zahteva več kot samo kljukico v obrazcu. Potrebna so usposabljanja, upravljanje delovne obremenitve in organizacijske norme, ki sprejemajo preklice kot normalno profesionalno prakso.

Učinkovit nadzor zahteva od organizacije tri stvari:

• Usposobljeno osebje, ki razume, kaj lahko AI naredi in česa ne
• Resnična pooblastila za preklic ali ustavitev sistema brez eskalacije
• Dovolj časa in orodij za resnično oceno

Kazenska struktura Uredbe EU o umetni inteligenci to potrjuje. Pomanjkljivosti v nadzoru lahko sprožijo globe do 3 % globalnega letnega prometa, medtem ko neupoštevanje predpisov prinaša globe do 35 milijonov EUR ali 7 % globalnega prometa. Za srednje veliko podjetje je to pomembno finančno tveganje.

Preglednost in revizijska sled sta drugi steber. Vsaka odločitev HITL mora biti zabeležena, časovno označena in pripisana imenovanemu pregledovalcu. To ustvarja revizijsko sled, ki jo regulatorji, zavarovalnice in stranke vse bolj pričakujejo ter jo organizacije potrebujejo, ko gre kaj narobe.

Nasvet strokovnjaka: Vključite svojo stopnjo preglasitev v ključne kazalnike uspešnosti (KPI). Sistem HITL, pri katerem recenzenti nikoli ne prekinejo odločitve umetne inteligence, ni dokaz odličnega modela. Je dokaz pristranskosti do avtomatizacije. Spremljajte pogostost prekinitve odločitve glede na recenzenta, vrsto primera in čas.

Kako vključiti HITL v obstoječe delovne procese z umetno inteligenco

Dodajanje sistema HITL v že delujoč sistem umetne inteligence je težje kot njegova izdelava od začetka, vendar redko nemogoče. Ključno je ugotoviti, kje človeška presoja prinese največ vrednosti glede na stroške.

Začnite z mapiranjem svojega delovnega procesa umetne inteligence in razvrstitvijo izhodov glede na raven posledic. Odločitve, ki so povratne, nizkotehtne in v velikem številu, so kandidati za avtomatizacijo ali nadzor HOTL. Odločitve, ki so nepovratne, pomembne ali pravno pomembne, spadajo v vrsto HITL. Ta triažni pristop preprečuje, da bi se sistemi HITL zlomili zaradi lastnega obsega pregleda.

Modeli nadzora naj bodo usklajeni s tveganji, obsegom, zrelostjo in regulacijo. Za sistematično uvedene ali zelo vplivne sisteme je potreben človek-v-zanki (HITL), medtem ko se lahko zreli, dobro kalibrirani sistemi s povečanjem zaupanja v njihovo uspešnost premaknejo proti človeku-na-zanki (HOTL) ali človeku-v-kontroli (HIC). To ni enkratna odločitev, temveč proces upravljanja, ki ga je treba redno preglejevati.

Tehnično integracija običajno vključuje dodajanje čakalne vrste za pregled med izhodno plastjo AI in plastjo za izvršitev, povezavo te vrste s pregledovalnim vmesnikom z ocenami zaupanja in razložljivostjo izhodov ter zapisovanje vsake odločitve v revizijski dnevnik. Večina poslovnih AI platform to arhitekturo podpira naravno. Težji del je organizacijska zasnova: določanje vlog pregledovalcev, postavitev omejitev delovne obremenitve in ustvarjanje poti za eskalacijo za primere, ki presegajo pristojnost posameznega pregledovalca.

Kako HITL oblikuje življenjski cikel usposabljanja AI modelov

Povratne informacije ljudi ne izboljšujejo le posameznih odločitev. Oblikujejo model samega, skozi vsako fazo življenjskega cikla usposabljanja.

Med začetnim usposabljanjem človeški anotatorji označujejo podatke, določajo robne primere in postavljajo kakovostne standarde, s katerimi se model uči. Natančnost tega označevanja neposredno določa zgornjo mejo zmogljivosti modela. Napake pri označevanju v tej fazi se kopičijo skozi vsak naslednji cikel usposabljanja.

Med uporabo človeški pregledovalci ustvarjajo neprekinjen tok signalov za popravke. Ko pregledovalec popravi izhod AI, lahko ta popravek vrnemo kot nov označen primer, kar postopoma premika vedenje modela proti boljši uskladitvi s človeško presojo. To je mehanizem za tehnike, kot je učenje okrepitve s povratnimi informacijami ljudi (RLHF), ki je postalo osrednjega pomena za razvoj velikih jezikovnih modelov.

Sčasoma naj bi dobro zasnovan sistem HITL zmanjšal lastno obremenitev pregleda. Ko se model izboljšuje, vse manj izhodov pade pod prag zaupanja, ki sproži človeški pregled. Človeško delo se premakne od rutinskih popravkov k resnično novim ali dvoumnim primerom, kjer človeška presoja prinaša največjo vrednost.

Kakovost podatkov in standardi označevanja v nastavitvah HITL

Kakovost umetne inteligence s človekom v zanki je neposredno odvisna od kakovosti podatkov, ki jih ustvarijo ljudje. Označevanje ni rutinska naloga.

Navodila za označevanje morajo biti dovolj specifična, da dva različna označevalca pridejo do enakega zaključka o istem primeru. Zanesljivost med ocenjevalci, merjena z metri, kot je Cohenov kappa, je treba spremljati in sporočati. Nizke ocene soglasja nakazujejo, da je definicija naloge nejasna, ne pa, da označevalci niso sposobni.

Standardi kakovosti podatkov v konfiguracijah HITL običajno zajemajo štiri področja: popolnost (noben obvezni podatek ni izpraznjen), doslednost (isti koncept je označen enako skozi celoten nabor podatkov), natančnost (oznake odražajo dejansko stanje, ne predpostavke označevalca) in pravočasnost (popravki so vrnjeni modelu pred naslednjim ciklom učenja, ne mesece pozneje).

Za organizacije, ki delujejo v skladu z GDPR, delovni procesi označevanja, ki vključujejo osebne podatke, zahtevajo minimizacijo podatkov, nadzor dostopa in omejitve hranjenja podatkov. Označevalci naj vidijo le tisto, kar potrebujejo za dokončanje naloge. To je tako pravna zahteva kot praktični ukrep za varnost.

Kako uravnotežiti avtomatizacijo in človeški poseg

Cilj HITL ni maksimalna človeška vključenost, temveč prava človeška vključenost v pravih trenutkih.

Kalibracija praga zaupanja, ki sproži človeški pregled, je najbolj neposredna vzvod. Če je nastavljen predaleč nizko, so recenzenti preplavljeni z enostavnimi primeri, ki jim zavzamejo pozornost. Če je nastavljen predaleč visoko, pa resnično negotovi izhodi praslišijo brez pregleda. Pravi prag je odvisen od stroškov lažno pozitivnih in lažno negativnih rezultatov v vašem specifičnem kontekstu. Kalibracija modelov HITL za zmanjšanje lažno pozitivnih je pogosto bolj kritična kot maksimiranje občutljivosti, ker prekomerni lažni alarmi povzročajo nepotrebne preglede in sčasoma zmanjšajo pozornost recenzentov.

Oblikovanje delovne obremenitve je enako pomembno kot kalibracija praga. Recenzenti naj obvladujejo količino primerov, ki omogoča resnično oceno, ne pa tolste vrste, pri katerih postane hitrost edina sprejemljiva strategija. Razporedi rotacije, časovne omejitve pregleda na primer in obvezni odmori zmanjšujejo napake zaradi utrujenosti.

Avtomatizacija naj prevzame rutinska opravila. Človeška pozornost naj se osredotoči na odločitve z pomembnimi posledicami. Umetna inteligenca za dobavno verigo, ki 78.4% odločitev označi kot rutinske, preostale pa usmeri v človeški pregled, ne pomeni izogibanja pomembnim korakom. Tako se omejena človeška presoja razporedi tja, kjer dejansko vpliva na izide.

Za poteke produktnih podatkov,) ta ravnotežje pomeni, da AI izlušči in organizira informacije dobaviteljev, medtem ko ljudje pregledovalci odobrijo, kaj bo objavljeno. AI obvladuje obseg; človek odgovornost.

Glavne ugotovitve

Človek v zanki AI zagotavlja zanesljivo in odgovorno odločanje AI s postavitvijo usposobljenih ljudi na ključne točke delovnega toka, ne kot ozko grlo, temveč kot premišljeno plast kakovosti in skladnosti.

Pogosta vprašanja

Kaj pomeni human-in-the-loop v umetni inteligenci?

Človek v zanki AI je zasnova sistema, kjer človek pregleda, popravi ali odobri izhode AI v določenih točkah, preden ti izhodi sprožijo dejanske ukrepe. To zagotavlja, da so odločitve AI v kritičnih situacijah pod pomembnim človeškim nadzorom.

Kaj pomeni človeški nadzor pri odgovorni umetni inteligenci?

V odgovorni umetni inteligenci izraz 'človek v zanki' pomeni, da ljudje ohranjajo pravo pristojnost za razumevanje, izzivanje in preklic rezultatov umetne inteligence, s čimer nasprotujejo pristranosti avtomatizacije in izpolnjujejo zahteve odgovornosti v okviru, kot je EU AI Act.

Kakšna je razlika med človekom v zanki in človekom na zanki?

Človek v zanki zahteva človeško odobritev pred vsakim pomembnim dejanjem; človek na zanki pomeni, da ljudje nadzorujejo sistem in lahko posežejo, vendar ne odobravajo vsakega izhoda. Pravi model je odvisen od ravni tveganja in količine odločitev aplikacije.

Kaj je človeško vključen AI v medicinskih kontekstih?

Na področju zdravstvenega varstva izraz 'človek v zanki AI' pomeni, da zdravnik pregleda in potrdi AI-generirane ugotovitve, na primer radiolog potrdi analizo slikanja, preden kateri koli rezultat pride v pacientovo evidenco ali vpliva na odločitev o zdravljenju.

Priporočeno

• DPP Grid - Every product. One trusted passport.
• DPP Grid AI transparency
• Cookie notice