Inimene ahelas tehisintellekt: täielik professionaalne juhend

Inimene silmaringis AI: täielik professionaalne juhend

Inimene-silmustesse AI (HITL) on disainimuster, kus inimesed juhivad aktiivselt, valideerivad ja kontrollivad AI väljundeid olulistes otsustuspunktides, selle asemel et lasta süsteemil täielikult iseseisvalt töötada. See ei ole nõrkade AI lahendus. See on teadlik arhitektuurivalik, mis muudab AI süsteemid usaldusväärsemaks, vastutustundlikumaks ja juriidiliselt kaitstavaks, eriti raamistikes nagu EL AI määrus.

Keskeuroopas töötavatele professionaalidele on see erinevus tõsiselt oluline. EL AI määrus, mis jõustus 2024. aasta augustis, seab kõrgendatud riski AI süsteemidele siduvad inimjärelevalve nõuded, rikkumiste eest määratavad trahvid ulatuvad kuni 35 miljoni euroni või 7% ülemaailmsest käibest ning järelevalve ebaõnnestumise eest kuni 3% ülemaailmsest aastakäibest. Õige HITL rakendamine ei ole reguleeritud sektorites tegutsevatele organisatsioonidele valikuline.

Mis on inimene-silmustesse AI?

Inimene-silmustesse AI viitab AI süsteemidele, mis on projekteeritud nii, et inimene saab enne reaalseid tagajärgi põhjustavate väljundite esitamist neid üle vaadata, parandada või kinnitada. Mõiste pärineb juhtimissüsteemide inseneriteadusest, kus ‘silmus’ tähistab tagasiside tsüklit süsteemi ja selle keskkonna vahel. Inimese paigutamine sellesse silmusesse tähendab, et tsükkel ei saa lõppeda ilma inimese kinnitamiseta.

Tõelist HITL lahendust defineerivad kolm põhilist elementi:

• Inimese ülevaatus: Kvalifitseeritud isik kontrollib AI genereeritud väljundeid enne nende kasutusele võtmist, mitte ainult logib neid.
• Parandusõigus: Ülevaataja võib AI ettepaneku muuta, tagasi lükata või ignoreerida ilma takistuste või organisatsioonilise surveta aktsepteerida seda.
• Tagasiside integreerimine: Inimese parendused suunatakse tagasi mudelisse, parandades tulevasi väljundeid aja jooksul.

HITL on osa laiemast järelevalvemudelite perekonnast: human-on-the-loop (HOTL), kus inimesed jälgivad, kuid ei sekku iga tsüklisse, ja human-in-command (HIC), kus inimestel on kogu süsteemi üle viimane sõna. Õige mudel sõltub rakenduse riskitasemest, otsuste mahust ja regulatiivsest kontekstist.

EL AI määruse järgi peavad kõrgendatud riskiga AI süsteemid, mis hõlmavad valdkondi nagu biomeetriline tuvastus, kriitiline infrastruktuur, töötajate sõelumine ja meditsiiniseadmed, seadusest tulenevalt toetama tõhusat inimjärelevalvet. Määruse artikkel 14 sätestab viis erinevat võimekust, mida järelevalvemehhanismid peavad võimaldama, sealhulgas süsteemi käitumise mõistmine, rikete tuvastamine ning süsteemi sekkumine või peatamine vajadusel.

Kuidas inimce lõimunud tehisintellekt tegelikult töötab?

HITL mehaanika järgib struktureeritud töövoogu kindlate inimpuudutustega. Mõistmine, kus need puudutused asuvad ja millised tööriistad neid toetavad, eristab tõelist HITL süsteemi sellest, mis lihtsalt väidab, et sellel on inimjärelevalve.

Põhitöövoog:

1. Sisendstaadium: Andmed sisenevad tehisintellekti süsteemi. Inimesed võivad andmekvaliteeti kinnitada või enne töötlemise algust anomaaliaid märgistada.
2. Töötlusstaadium: Tehisintellekt analüüsib sisendi ja genereerib kandidaadiväljundi, tavaliselt kindluse skooriga.
3. Ülevaatusstaadium: Inimene kontrollib väljundit, skoori ja selgitavat infot. Ta kinnitab, muudab või lükkab tagasi.
4. Tagasiside staadium: Ülevaataja otsus logitakse ja vajadusel kasutatakse mudeli taaskoolitamiseks või korrigeerimiseks.
5. Täitmisstaadium: Alles pärast inimkinnitust käivitub väljund seotud toiming.

Tööriistad, mis muudavad järelevalve reaalseks:

• Kindluse skoorid, mis märgistavad madala usaldusväärsusega väljundid kohustuslikuks ülevaatuseks
• Selgitusliidesed (nt SHAP või LIME visualiseeringud), mis näitavad, miks tehisintellekt järeldusele jõudis
• Üleüle kirjutamise kontrollid, mis on kergesti ligipääsetavad ja kasutamisel pole sotsiaalset karistust
• Audiitlogid, mis salvestavad iga inimotsuse koos tehisintellekti esialgse soovitusega
• Turvalised peatusfunktsioonid, mis võimaldavad ülevaatajatel süsteemi eskaleerimiseta peatada

HITL töövoog nõuab, et tõlgendatavad väljundid, üleule kirjutamise võimalused ja reaalajas sekkumise funktsioonid oleksid sisse ehitatud algusest alates, mitte jäetud lisandiks pärast juurutamist. Süsteemid, kus üleule kirjutamise nupp on peidetud kolme menüü sügavusele, ei ole tõeliselt HITL, olenemata dokumentatsioonist.

Võrreldes inimeste pealt kontrollimisega, kus inimene jälgib armatuurlaudu ja sekkub ainult siis, kui midagi tundub valesti, on HITL aeglasem, kuid palju usaldusväärsem kõrge panusega otsuste puhul. HOTL töötab hästi küpsete, hästi kalibreeritud süsteemide puhul, mille veamäärad on madalad. HITL on õige valik, kui ühe valesti tehtud otsuse hind on kõrge.

Inimese sekkumise AI võtmeeelised

HITL-i argument ületab regulatiivse vastavuse. See muudab seda, mida AI süsteemid tegelikult usaldusväärselt teha suudavad.

• Vigade tuvastamine enne kahju tekkimist. Inimliikmed avastavad vead, mida usalduspunktide skoorid ei tabanud, eriti servjuhtumites, mille jaoks mudelit ei treenitud. Usaldusväärsemus kõrge panusega valdkondades nagu tervishoid ja õiguskaitse sõltub sellest kihist.
• Automatiseerimisbiasi vähendamine. Ilma aktiivse disainita selle vastu, kipuvad inimesed AI tulemusi kriitikavabalt aktsepteerima. HITL süsteemid, mis teevad ümberlükkamise lihtsaks ja ühiskondlikult toetatud, tõrjuvad seda kalduvust otseselt.
• Jätkuv mudeli parendamine. Inimiinimesed tegutsevad kuraatoritena, mitte ainult kontrollijatena. Nende parandused pakuvad märgistatud andmeid, mis aja jooksul suurendab mudeli täpsust ja vähendab inimkontrolli vajavate juhtumite arvu hilisemates tsüklites.
• Vastutustundlikkus ja auditeeritavus. Igal otsusel on nimega inimene vastutajana. See on väga oluline reguleeritud tööstusharudes, kus on vaja näidata regulaatorile täpselt, kes ja millal midagi heaks kiitis.
• Õiguslik kooskõla. Organisatsioonidele, kes kasutavad EL-is kõrge riskiga tehisintellekti, ei ole HITL vaid parim tava, vaid seadusest tulenev nõue vastavalt EL AI määruse artiklile 14.
• Kasutaja ja sidusrühmade usaldus. Inimese poolt kinnitatud kontrolliga tooted ja teenused omavad klientide, partnerite ja regulaatorite seas suuremat usaldusväärsust kui täielikult automatiseeritud tulemused.

Väljakutsed ja piirangud, milleks peaksite valmistuma

HITL ei ole tasuta ja teesklemine vastupidist viib halvasti kujundatud süsteemideni, mis ei tööta päris tingimustes.

• Masta plakat piir. Inimese tähelepanu on piiratud. AI väljundi mahu kasvades kasvab ka vajalike ülevaatajate arv, kui süsteemi pole hoolikalt disainitud, et inimeste vahele suunata ainult tõeliselt ebakindlad juhtumid.
• Kulu. Kogenud ülevaatajad nõuavad tasu. Tööstuskeskkondades võivad HITL-i tegevuskulud muutuda märkimisväärseks eelarverõhuks, eriti kui valepositiivsete määr on kõrge ja see tekitab tarbetuid ülevaatusjärjekordi.
• Inimese eksimus ja kognitiivne kallutatus. Ülevaatajad toovad kaasa oma sokeerimispunktid. Väsimus, ankurdamiskallutatus ja ajapiirang halvendavad ülevaatuse kvaliteeti, mõnikord isegi AI baas täpsusest madalamale tasemele.
• Järelevalve väsimus. Kõrged tähelepanuhoiatused vähendavad aja jooksul ülevaatajate tähelepanu. Süsteem, mis märgib liiga palju madala riskiga juhtumeid, õpetab ülevaatajaid kiiresti heaks kiitma ilma tõelise kontrollita, mis on tähendusliku järelevalve vastand.
• Privaatsuse avalikustamine. Inimese ülevaatajad, kes näevad tundlikke andmeid nagu meditsiinirekordeid, finantstehinguid või isikut tõendavaid dokumente, loovad andmekaitsekohustused vastavalt GDPR-le. Organisatsioonid peavad määratlema, kes näeb mida, millistel tingimustel ja kui kaua.
• Ebajärjekindlus ülevaatajate vahel. Erinevad ülevaatajad teevad samadele juhtumitele erinevaid otsuseid. Ilma kalibreerimisprotokollide ja intervjälgija usaldusväärsuse kontrollita toodavad HITL-süsteemid ebajärjekindlaid tulemusi, mis nõrgendavad mudeli õpetamissignaali.

Kõige sagedasem riketüüp ei ole see, et HITL oleks liiga aeglane. See on see, et organisatsioonid rakendavad HITL-i ilma nende piirangute jaoks kavandamata ning avastavad need alles tootmiskoormuse all.

Kus praktikas rakendatakse HITL-i tehisintellekti

Inimene-tsüklis lähenemised ilmnevad erinevates tööstusharudes seal, kus automatiseeritud vea maksumus on piisavalt kõrge, et õigustada inimlikku ülevaatust.

• Tervishoiudiagnostika. Kliinilise otsusetoe tööriistad märgivad arsti ülevaatamiseks võimalikud diagnoosid või ravimite koostoimed. Tehisintellekt kitsendab valikute ringi; otsuse teeb arst. See on radioloogias kasutatava tehisintellekti puhul tavapärane praktika: süsteemid tõstavad uuringupiltidel esile huvipakkuvad piirkonnad, kuid radioloog kinnitab iga leiu enne selle patsiendi haiguslukku jõudmist.
• Tarneahel ja kvaliteedikontroll. Ettevõtete tarneahelates kasutatav tehisintellekt suunab kokkuvõtete koostamise ja märgistamise ülesanded automatiseeritud süsteemidele, samal ajal kui inimeksperdid vaatavad kriitilised väljundid enne lõplikku vormistamist üle. AEGIS-Chaini raamistik töötleb näiteks autonoomselt 78.4% rutiinsetest otsustest, suunates oluliste tagajärgedega olukorrad inimkontrollijatele ning säilitades kõigi operatiivtsüklite kohta täieliku muutmatu otsustusjälje.
• Isikusamasuse kontroll ja pettuste tuvastamine. Finantsasutused kasutavad tehisintellekti tehingute või isikusamasuse kontrollide hindamiseks ning suunavad piiripealsed juhtumid inimanalüütikutele. Teatud kõrge riskiga tuvastamissüsteemide puhul peavad otsused olema kontrollitud enne meetmete võtmist vähemalt kahe pädeva inimkontrollija poolt.
• Sisu modereerimine. Platvormid kasutavad tehisintellekti platvormi eeskirjade rikkumiste tuvastamiseks suures mahus, kuid inimmoderaatorid vaatavad läbi apellatsioonid, erandjuhtumid ja suure tundlikkusega sisukategooriad, kus kontekst määrab selle, kas sisu on seaduslik.
• Tooteandmete haldus. Platvormid nagu Dppgrid kasutavad tehisintellekti tarnijadokumentidest tooteandmete eraldamiseks ja korrastamiseks, kuid inimesed vaatavad selle teabe üle ja kiidavad heaks enne selle avaldamist digitaalses tootepassis. Tehisintellekti loodud ettepanekuid ei käsitata kunagi automaatselt kontrollitud faktidena.
• Õigus- ja vastavuskontroll. Lepinguanalüüsi tööriistad märgivad lepinguklauslid juristi ülevaatamiseks. Tehisintellekt tegeleb mahuga; jurist teeb otsuse.

Eetilised kaalutlused ja vastutustunne ELi õigusnormide kohaselt

HITL-i eetiline põhjendus on Kesk-Euroopas lahutamatult seotud õigusliku põhjendusega. Euroopa Liidu tehisintellekti seadus ei käsitle inimjärelevalvet tehnilise peenhäälestusena. See käsitleb seda kui põhjalikku kaitsemeetodit.

ELi 14. artiklis on sätestatud, et kõrge riskiga tehisintellekti süsteeme tuleb kujundada nii, et inimjärelevalve teostajad mõistaksid täielikult süsteemi võimeid ja piiranguid, suudaksid tuvastada ja lahendada tõrkeid ning vajadusel sekkuda või süsteemi peatada. Eriti oluline on, et ülekirjutamise ja peatamise funktsioonid oleksid hõlpsasti ligipääsetavad ja sotsiaalselt toetatud. Kultuur, kus ülevaatajad tunnevad survet vastu võtmata jätta tehisintellekti väljundeid, on vastavusrikkumine, mitte lihtsalt disainiviga.

Automatiseerimise eelarvamus on HITL-süsteemide keskne eetiline risk. Inimesed kalduvad loomulikult toetuma algoritmilistele väljunditele, eriti kui need esitatakse kõrge kindlustundega ja ülevaataja on ajasurve all. Selle vastu võitlemiseks on vaja enamat kui lihtsalt linnukese märkimist. Vajalik on koolitus, töökoormuse juhtimine ja organisatsioonilised normid, mis käsitlevad ülekirjutamist normaalse professionaalse käitumisena.

Tõhus järelevalve eeldab organisatsioonilt kolme asja:

• Koolitatud personali, kes mõistab, mida tehisintellekt suudab ja mida mitte
• Reaalset volitust süsteemi ülekirjutamiseks või peatamiseks ilma eskaleerimiseta
• Piisavalt aega ja vahendeid tõhusa hinnangu andmiseks

ELi tehisintellekti seaduse trahvisüsteem tugevdab seda nõuet. Järelevalve puudumine võib tuua trahve kuni 3% globaalsetest aastakäibest, samas kui mittevastavus võib kaasa tuua trahvi kuni 35 miljonit eurot või 7% globaalsetest tuludest. Keskmise suurusega ettevõttele on see märkimisväärne rahaline risk.

Läbipaistvus ja auditeeritavus on teised tugisambad. Iga HITL otsus peaks olema logitud, ajatemplitud ja seotud konkreetse nimetatud ülevaatajaga. See loob auditeerimisraamistiku, mida regulaatorid, kindlustajad ja kliendid üha enam ootavad ning mida organisatsioonid vajavad vigade korral.

Nõuanne: Lisa oma ülekirjutamismäär oma tulemusnäitajatesse. HITL-süsteem, kus ülevaatajad kunagi tehisintellekti väljundeid ei ülekirjuta, ei ole hea mudeli tõend, vaid automatiseerimise eelarvamuse tõend. Jälgi ülekirjutamiste sagedust ülevaataja, juhtumi tüübi ja aja jooksul.

Kuidas integreerida HITL olemasolevatesse tehisintellekti töövoogudesse

Inimese kaasamine (HITL) juba kasutuses oleva tehisintellekti süsteemi täiendamiseks on keerulisem kui selle algusest peale sisse ehitamine, kuid harva võimatu. Oluline on tuvastada, kus inimeste hinnang lisab kulude suhtes kõige rohkem väärtust.

Alusta oma tehisintellekti töövoo kaardistamisest ja tulemuste liigitamisest vastavalt tagajärgede tasemele. Tagasipööratavad, väheolulised ja suurkogused otsused sobivad automatiseerimiseks või HOTL järelevalveks. Tagasipööramatud, olulised või juriidiliselt tähtsad otsused kuuluvad HITL järjekorda. See sorteerimisloogika hoiab HITL süsteeme ülekoormuse eest.

Järelvalve mudelid peaksid sobituma riskitaseme, mahu, küpsuse ja regulatsiooniga. Värskelt juurutatud või mõjuvad süsteemid nõuavad HITL, samas kui küpsed ja hästi kalibreeritud süsteemid võivad suurema usalduse korral liikuda HOTL või HIC poole. See ei ole üks kordne otsus, vaid valitsemise protsess, mida tuleks regulaarselt üle vaadata.

Tehniliselt hõlmab integreerimine tavaliselt läbivaatamisjärjekorra lisamist AI väljundkihile ja teostuskihile, ühendades selle järjekorra läbivaataja liidesega, mis sisaldab usalduskõrget ja seletatavuse väljundeid ning logides iga otsuse auditeerimisteedele. Enamik äriliste AI platvormide arhitektuur seda toetab. Raske töö on organisatsiooniline kujundus: määratleda läbivaataja rollid, seada töökoormuse piirid ning luua eskalatsiooniteed juhtumitele, mis ületavad ühe läbivaataja volitusi.

Kuidas HITL mõjutab AI mudeli koolitustsüklit

Inimeste tagasiside parandab mitte ainult üksikuid otsuseid, vaid kujundab ka mudelit kõigil koolitustsükli etappidel.

Algkoolituse ajal märgivad inimannotaatorid andmeid, määratlevad erandid ja seab kvaliteedistandardid, millest mudel õpib. Märgistuste täpsus määrab otseselt mudeli jõudluse piiri. Selle etapi vead annoteerimises kumuleeruvad igas järgmises koolitustsüklis.

Juurutamise ajal genereerivad inimvaatlejad pideva parandussignaalide voogu. Kui vaatleja muudab AI väljundi, saab see parandus tagasisidena anda uue märgistatud näitena, nihutades mudeli käitumist järk-järgult paremaks kooskõla saavutamiseks inimhinnanguga. See on mehhanism, mis on taga tehnikaid nagu inimtagasisidest juhitud tugevdamisõpe (RLHF), mis on saanud suurete keelemudelite arendamise keskseks osaks.

Ajapikku peaks hästi kujundatud HITL-süsteem vähendama enda ülevaatuskoormust. Kui mudel paraneb, langeb vähem väljundeid enesekindluse läve alla, mis käivitab inimvaatluse. Inimtöökoormus nihkub rutiinsetest parandustest tõeliselt uute või ebaselgete juhtumite suunas, kus inimhinnang lisab kõige rohkem väärtust.

Andmete kvaliteet ja annotatsioonistandardid HITL-seadistustes

Inimestega sisendiga AI kvaliteet sõltub otseselt inimeste toodetud andmete kvaliteedist. Annotatsioon ei ole tavaline kaup.

Annotatsioonijuhendid peavad olema piisavalt spetsiifilised, et kaks erinevat annotaatorit jõuaksid samale järeldusele samal juhul. Märgatavuse kooskõla, mida mõõdetakse metoodikate nagu Coheni kappa abil, peaks olema jälgitud ja raporteeritud. Madal kokkuleppe skoor näitab, et ülesande määratlus on ebaselge, mitte see, et annotaatorid oleksid pädevad.

Andmekvaliteedi standardid HITL-süsteemides hõlmavad tavaliselt nelja valdkonda: täielikkus (ükski nõutud väli pole tühjaks jäetud), järjepidevus (sama mõiste on kogu andmestikus sarnaselt märgistatud), täpsus (märkused peegeldavad tegelikkust, mitte annotaatori oletusi) ja õigeaegsus (parandused suunatakse mudelile tagasi enne järgmise treeningtsükli algust, mitte kuid hiljem).

Organisatsioonidele, kes tegutsevad GDPRi all, nõuavad annotatsioonitöövood, mis hõlmavad isikuandmeid, andmete minimeerimist, juurdepääsu kontrolli ja säilituse piiranguid. Annotaatoreil peaks olema juurdepääs ainult sellele, mida nad vajavad ülesande täitmiseks. See on nii õiguslik nõue kui ka praktiline turvameede.

Kuidas tasakaalustada automatiseerimist ja inimsekkumist

HITL eesmärk ei ole maksimaalne inimosalus. Õige inimosalus õigel ajal on see, mida taotletakse.

Inimliku ülevaate käivitava usalduspiiri kalibreerimine on kõige otsesem juhtimine. Kui seate selle liiga madalaks, siis üleujutatakse ülevaatajad lihtsate juhtumitega, mis raiskavad nende tähelepanu. Kui liiga kõrgeks, siis läbivad kahtlased tulemused kontrollita. Õige lävi sõltub teie konkreetsest kontekstist valepositiivsete ja valenegatiivsete kuludest. HITL-mudelite kalibreerimine valepositiivsete vähendamiseks on sageli olulisem kui tundlikkuse maksimeerimine, sest liigne võltshäire põhjustab tarbetuid ülevaateid ja vähendab aja jooksul ülevaatajate tähelepanu.

Töökoormuse korraldus on sama oluline kui lävi kalibreerimine. Ülevaatajad peaksid käsitlema sellist juhtumite hulka, mis võimaldab tõelist hindamist, mitte järjekorda, kus ainus töökorras strateegia on kiirus. Vahetusskeemid, ülevaateaegade piirangud juhtumi kohta ja kohustuslikud pausid vähendavad väsimusega seotud vigu.

Automatiseerimine peaks enda kanda võtma rutiinse töö. Inimeste tähelepanu peaks keskenduma otsustava tähtsusega küsimustele. Tarneahela tehisintellekt, mis märgib 78.4% otsustest rutiinseteks ja suunab ülejäänud inimkontrolli, ei tähenda kvaliteedis järeleandmist. See suunab nappi inimlikku otsustusvõimet sinna, kus see tegelikult tulemusi muudab.

tootekasutuse töövoogudes näeb see tasakaal välja nii, et tehisintellekt kogub ja korraldab tarnijate teavet, samal ajal kui inimlikud hindajad kinnitavad, mis avaldatakse. Tehisintellekt tegeleb mahu kontrollimisega; inimene tegeleb vastutus.

Olulised kokkuvõtted

Inimene-tsüklis AI tagab usaldusväärse ja vastutustundliku tehisintellekti otsustamise, asetades kvalifitseeritud inimesed töövoo kriitilistesse punktidesse mitte kitsaskohana, vaid teadliku kvaliteedi- ja vastavuskihina.

KKK

Mis on inimeste kaasamine AI-sse?

Inimene-tsüklis tehisintellekt on süsteemi disain, kus inimene vaatab üle, parandab või kinnitab tehisintellekti väljundid määratletud hetkedel enne, kui need väljundid käivitavad reaalse maailma toimingud. See tagab, et tehisintellekti otsused kõrge panusega olukordades jäävad tähendusrikkase inimjuhtimise alla.

Mida tähendab 'human-in-the-loop' vastutustundlikus tehisintellektis?

Vastutustundlikus tehisintellektis tähendab inimkesksus seda, et inimestel on tõeline võim mõista, vaidlustada ja tühistada tehisintellekti tulemusi, vastandudes automatiseerimise eelarvamustele ning täites vastutuse nõudeid selliste raamistikude nagu ELi tehisintellekti määrus järgi.

Mis vahe on human-in-the-loopil ja human-on-the-loopil?

Human-in-the-loop nõuab inimese heakskiitu enne iga olulisemat toimingut; human-on-the-loop tähendab, et inimesed jälgivad süsteemi ja saavad sekkuda, kuid ei kiida iga väljundit heaks. Õige mudel sõltub rakenduse riskitasemest ja otsuste mahust.

Mis on human-in-the-loop tehisintellekt meditsiinilistes kontekstides?

Tervishoius tähendab human-in-the-loop tehisintellekt, et kliinik vaatab üle ja kinnitab tehisintellekti poolt genereeritud leiud, näiteks radioloog kiidab heaks skaneerimise analüüsi, enne kui tulemus jõuab patsiendi andmesse või mõjutab ravijuhist.

Soovitatud

• DPP Grid - Every product. One trusted passport.
• DPP Grid AI transparency
• Cookie notice