Provocările implementării Regulamentului UE privind inteligența artificială pentru sistemele IA cu grad ridicat de risc
În această postare analizăm provocările practice ale implementării cerințelor Regulamentului UE privind inteligența artificială pentru sistemele IA cu grad ridicat de risc. Prezentăm obligațiile relevante și discutăm dificultățile tehnice și transversale legate de guvernanța datelor, fiabilitatea sistemelor, transparență, documentare și monitorizare. Analizăm, de asemenea, modul în care capacitățile organizaționale influențează eforturile de conformare și felul în care Kladero poate sprijini organizațiile prin dezvoltare de soluții IA, consultanță în guvernanța IA și formare profesională.

Introducere
Regulamentul privind inteligența artificială al Uniunii Europene („AI Act”) stabilește un cadru de reglementare cuprinzător pentru dezvoltarea și utilizarea inteligenței artificiale (IA) în UE [1], [2]. În funcție de tipul sistemului IA, de scopul său preconizat și de rolul organizației implicate, regulamentul introduce cerințe privind managementul riscurilor, guvernanța datelor, transparența, supravegherea umană, documentația tehnică și alte aspecte ale dezvoltării și utilizării IA.
Totuși, identificarea cerințelor de reglementare aplicabile reprezintă doar o parte a procesului de asigurare a conformității. Organizațiile trebuie să stabilească și cum să implementeze aceste cerințe în sistemele IA existente, în infrastructura tehnică, în procesele de dezvoltare și în fluxurile de lucru organizaționale. De exemplu, cerințele privind calitatea datelor, acuratețea și robustețea pot necesita schimbări în modul în care modelele IA sunt antrenate, evaluate și monitorizate, în timp ce obligațiile legate de managementul riscurilor și documentație pot necesita noi proceduri și responsabilități interne. Implementarea acestor măsuri poate ridica dificultăți semnificative, mai ales atunci când sistemele și procesele existente nu au fost concepute inițial pentru a îndeplini cerințe de reglementare [3].
Implementarea AI Act poate fi deosebit de dificilă pentru furnizorii de sisteme IA cu grad ridicat de risc, cărora li se aplică unele dintre cele mai extinse cerințe ale regulamentului. Aceste sisteme includ anumite aplicații care pot afecta semnificativ sănătatea, siguranța sau drepturile fundamentale ale persoanelor. Exemplele variază de la sisteme IA utilizate pentru evaluarea candidaților la angajare, evaluarea rezultatelor învățării și determinarea bonității persoanelor fizice până la sisteme IA folosite drept componente de siguranță în gestionarea și operarea infrastructurii critice, în funcție de criteriile de clasificare aplicabile [1].
În această postare examinăm principalele provocări ale implementării cerințelor AI Act pentru sistemele IA cu grad ridicat de risc, discutăm felul în care capacitățile tehnice și practicile organizaționale influențează eforturile de conformare și explorăm modalități de abordare a acestor dificultăți.
Cerințe pentru sistemele IA cu grad ridicat de risc
Potrivit articolului 6 din AI Act, sistemele IA pot fi clasificate ca având un grad ridicat de risc în funcție de scopul lor preconizat și de riscurile asociate utilizării. Regulamentul distinge în special două categorii principale:
-
Sisteme IA care intră sub incidența legislației privind siguranța produselor. Sistemele IA care servesc drept componente de siguranță ale unor produse sau care sunt ele însele produse reglementate de anumite acte legislative de armonizare ale UE pot fi clasificate ca având un grad ridicat de risc atunci când produsele sau sistemele respective necesită evaluări ale conformității de către terți. Exemplele includ anumite aplicații legate de dispozitive medicale, utilaje și alte produse reglementate.
-
Sisteme IA utilizate în domenii cu grad ridicat de risc. Anexa III identifică mai multe domenii în care sistemele IA pot fi clasificate ca având un grad ridicat de risc, printre care biometria, infrastructura critică, educația, ocuparea forței de muncă, accesul la servicii esențiale, aplicarea legii, migrația și controlul frontierelor, precum și administrarea justiției. De exemplu, sistemele IA utilizate pentru evaluarea candidaților la angajare sau pentru stabilirea bonității persoanelor fizice pot face parte din această categorie. Articolul 6 prevede și excepții pentru anumite sisteme din anexa III care nu prezintă un risc semnificativ în condițiile precizate de regulament [1].
Pentru ca sistemele IA cu grad ridicat de risc să îndeplinească cerințele AI Act, furnizorii trebuie să implementeze o serie de măsuri tehnice și organizaționale pe parcursul dezvoltării și exploatării acestora. Articolele 8–17 stabilesc cerințe privind managementul riscurilor, datele și guvernanța datelor, documentația tehnică, păstrarea evidențelor, transparența, supravegherea umană, acuratețea, robustețea, securitatea cibernetică și managementul calității [1], [2].
Principalele cerințe includ:
-
Managementul riscurilor (articolul 9). Furnizorii trebuie să instituie și să mențină un sistem de management al riscurilor pentru identificarea, evaluarea și tratarea riscurilor pentru sănătate, siguranță și drepturile fundamentale pe întregul ciclu de viață al sistemului IA. Managementul riscurilor presupune și evaluarea eficacității măsurilor de atenuare și abordarea riscurilor relevante care apar în timpul dezvoltării și utilizării.
-
Datele și guvernanța datelor (articolul 10). Sistemele IA cu grad ridicat de risc dezvoltate folosind tehnici de antrenare a modelelor trebuie să îndeplinească cerințe privind calitatea și gestionarea seturilor de date de antrenare, validare și testare. Măsurile relevante includ examinarea adecvării și reprezentativității seturilor de date, identificarea potențialelor prejudecăți și tratarea problemelor de calitate a datelor.
-
Documentația tehnică și păstrarea evidențelor (articolele 11–12). Furnizorii trebuie să întocmească și să actualizeze documentația tehnică pentru a demonstra modul în care sistemul IA îndeplinește cerințele aplicabile. Sistemele IA cu grad ridicat de risc trebuie, de asemenea, să permită înregistrarea automată a evenimentelor pe întregul lor ciclu de viață, denumită frecvent jurnalizare (logging), pentru a facilita trasabilitatea și monitorizarea.
-
Transparența și supravegherea umană (articolele 13–14). Sistemele IA cu grad ridicat de risc trebuie să fie suficient de transparente pentru ca operatorii să le poată interpreta rezultatele și utiliza corespunzător. Furnizorii trebuie să pună la dispoziție instrucțiuni și informații relevante despre capacitățile și limitele sistemului. În plus, sistemele trebuie proiectate astfel încât să permită o supraveghere umană eficace, inclusiv înțelegerea și monitorizarea funcționării și, după caz, intervenția asupra acesteia.
-
Acuratețea, robustețea și securitatea cibernetică (articolul 15). Sistemele IA cu grad ridicat de risc trebuie să atingă niveluri adecvate de acuratețe, robustețe și securitate cibernetică pe întregul ciclu de viață. Măsurile relevante includ testarea performanței sistemului, abordarea erorilor și defecțiunilor previzibile în mod rezonabil și protejarea împotriva încercărilor de manipulare a comportamentului sistemului sau de compromitere a securității sale.
-
Managementul calității (articolul 17). Furnizorii trebuie să instituie un sistem de management al calității care să acopere procedurile și responsabilitățile necesare conformității cu reglementarea. Acesta include, printre altele, măsuri privind proiectarea și dezvoltarea, testarea, documentarea, managementul riscurilor și monitorizarea ulterioară introducerii pe piață [1].
Pe lângă cerințele privind proiectarea, dezvoltarea și operarea sistemelor IA cu grad ridicat de risc, AI Act stabilește obligații suplimentare pentru furnizorii acestora. În special, furnizorii trebuie să păstreze documentația tehnică pentru perioada aplicabilă, de regulă zece ani conform articolului 18, și să păstreze jurnalele generate automat aflate sub controlul lor timp de cel puțin șase luni, cu excepția cazului în care legislația aplicabilă prevede altfel (articolul 19). Furnizorii trebuie, de asemenea, să ia măsuri corective în caz de neconformitate (articolul 20), să coopereze cu autoritățile competente prin furnizarea informațiilor și documentelor relevante la cererea motivată a acestora (articolul 21) și, atunci când este necesar, să desemneze un reprezentant autorizat în Uniune (articolul 22). Alte obligații se referă la evaluarea conformității, declarațiile de conformitate, marcajul CE, înregistrare, monitorizarea ulterioară introducerii pe piață și raportarea incidentelor grave [1], [2].
Provocările implementării cerințelor pentru sistemele IA cu grad ridicat de risc
Deși AI Act stabilește cerințe pentru sistemele IA cu grad ridicat de risc, transpunerea lor în măsuri tehnice și procese organizaționale poate prezenta dificultăți semnificative. Unele provocări rezultă direct din cerințe individuale, cum ar fi identificarea și atenuarea prejudecăților din datele de antrenare sau evaluarea robusteții unui sistem IA. Altele privesc activități care susțin simultan mai multe cerințe, inclusiv documentarea, monitorizarea și menținerea conformității pe întregul ciclu de viață al sistemului. Amploarea acestor dificultăți depinde, de asemenea, de capacitățile tehnice ale organizației, de procesele existente și de experiența sa în domeniul reglementărilor [3].
Provocări tehnice specifice anumitor cerințe
Mai multe cerințe ale AI Act presupun dificultăți tehnice pentru care măsurile adecvate de implementare depind de caracteristicile și scopul preconizat al sistemului IA. Într-un studiu de caz multiplu care a inclus șase companii și trei experți independenți, Wagner și colaboratorii au identificat guvernanța datelor, acuratețea, robustețea, securitatea cibernetică și transparența printre cerințele considerate cel mai frecvent dificil de implementat [3].
-
Gestionarea calității datelor și a prejudecăților. Identificarea și atenuarea prejudecăților din datele de antrenare pot fi dificile, deoarece seturile de date pot conține dezechilibre sistematice care nu sunt imediat evidente, iar eliminarea tuturor surselor de prejudecată poate fi nerealistă [4]. Organizațiile au, prin urmare, nevoie de metode pentru detectarea, evaluarea și abordarea prejudecăților relevante pentru utilizarea preconizată a sistemului IA. Obținerea unor seturi de date adecvate poate crea dificultăți suplimentare atunci când datele sunt supuse unor restricții legale, provin de la clienți care nu doresc să le partajeze sau nu reprezintă suficient aplicația vizată. Aceste dificultăți sunt deosebit de relevante pentru cerințele de guvernanță a datelor din articolul 10, care privesc mai multe etape ale fluxului de prelucrare a datelor.
-
Evaluarea acurateței, robusteții și securității cibernetice. Evaluarea funcționării fiabile a unui sistem IA necesită metrici adecvate, date de testare reprezentative și proceduri de testare care să reflecte condițiile preconizate de utilizare. Alegerea unor metrici relevante de acuratețe poate fi deosebit de dificilă pentru sistemele ale căror rezultate nu pot fi evaluate prin raportare la un singur răspuns corect și lipsit de ambiguitate (de exemplu, sistemele IA generative care produc texte cu formulare liberă ca răspuns la întrebările utilizatorilor). Testarea robusteții trebuie să țină cont și de modificarea intrărilor, de erori și de buclele de feedback potențial dăunătoare din sistemele care învață continuu. Securitatea cibernetică aduce dificultăți suplimentare, deoarece sistemele IA pot fi vulnerabile la atacuri în diferite etape ale ciclului de viață, inclusiv otrăvirea datelor în timpul antrenării și manipularea adversarială a intrărilor în timpul funcționării. Identificarea amenințărilor relevante și evaluarea măsurilor de apărare adecvate necesită analize de securitate adaptate sistemului și mediului în care este implementat [3], [5].
-
Explicarea comportamentului și a limitelor sistemelor IA. Furnizarea către operatori a unor informații suficiente despre capacitățile, limitele și utilizarea adecvată a unui sistem IA poate fi dificilă atunci când comportamentul său este greu de interpretat. În special, modelele complexe de învățare automată pot produce rezultate fără a oferi o explicație ușor de înțeles a procesului decizional subiacent [6]. Furnizorii trebuie să stabilească ce informații îi ajută pe operatori să interpreteze rezultatele și să înțeleagă condițiile în care sistemul poate fi utilizat corespunzător, în conformitate cu articolul 13. Dezvăluirea detaliilor tehnice poate ridica și preocupări privind protejarea proprietății intelectuale și evitarea expunerii unor informații sensibile pentru securitate [3].
Provocări transversale ale implementării
În timp ce unele provocări apar din cerințe individuale, altele afectează simultan mai multe obligații. Printre provocările transversale importante se numără următoarele:
-
Menținerea documentației și a trasabilității. Demonstrarea conformității impune organizațiilor să documenteze deciziile tehnice relevante, caracteristicile sistemului, rezultatele evaluărilor și activitățile de management al riscurilor. Menținerea la zi a acestor informații poate fi dificilă atunci când modelele IA, seturile de date și componentele software se modifică frecvent. De exemplu, după actualizarea unui model implementat, organizațiile pot avea nevoie să stabilească ce versiune a fost utilizată, ce teste au fost efectuate și dacă evaluările anterioare ale riscurilor rămân aplicabile. Aceste dificultăți leagă cerințele de documentare și jurnalizare din articolele 11–12 de obligațiile mai ample de management al riscurilor și al calității din articolele 9 și 17.
-
Monitorizarea sistemelor IA implementate. Furnizorii pot avea acces limitat la informații despre performanța sistemelor IA după implementare, în special când acestea funcționează în mediile tehnice ale clienților. Clienții pot fi reticenți să partajeze date operaționale din motive de confidențialitate, protecție a vieții private sau securitate cibernetică, în timp ce limitările tehnice pot îngreuna colectarea și stocarea jurnalelor. Aceste constrângeri complică monitorizarea ulterioară introducerii pe piață, investigarea problemelor de performanță și identificarea riscurilor care devin evidente în timpul utilizării [3].
-
Integrarea conformității în procesele de dezvoltare. Evaluările riscurilor, procedurile de testare, documentația și măsurile corective trebuie coordonate pe măsură ce sistemele IA sunt dezvoltate, actualizate și întreținute. Totuși, aceste activități pot fi deja distribuite între echipe și instrumente diferite. De exemplu, o actualizare a modelului care modifică performanța sistemului poate necesita o nouă evaluare, actualizări corespunzătoare ale documentației tehnice și revizuirea măsurilor existente de control al riscurilor. Stabilirea unor proceduri care conectează aceste activități este, prin urmare, importantă pentru menținerea conformității pe măsură ce sistemele IA evoluează.
Factori organizaționali care influențează implementarea
Dificultatea implementării cerințelor pentru sistemele IA cu grad ridicat de risc depinde și de capacitățile existente ale organizației și de mediul în care aceasta operează. Mai mulți factori pot influența volumul de muncă suplimentară necesar pentru obținerea conformității:
-
Sectorul de activitate și experiența în materie de reglementare. Organizațiile din sectoare puternic reglementate, precum tehnologia medicală, pot avea deja proceduri pentru managementul riscurilor, asigurarea calității, documentația tehnică și siguranța produselor. Unele dintre aceste procese pot constitui o bază pentru implementarea cerințelor AI Act, deși respectarea reglementărilor existente nu înseamnă automat conformitate cu AI Act. În mod similar, companiile care dezvoltă sisteme critice pentru siguranță sau securitate pot avea deja practici extinse de evaluare a acurateței, robusteții și securității cibernetice.
-
Maturitatea în domeniul IA și expertiza tehnică. Organizațiile cu practici consacrate de dezvoltare IA pot avea deja proceduri de guvernanță a datelor, cadre de evaluare a modelelor și infrastructură pentru monitorizarea sistemelor implementate. În schimb, organizațiile cu mai puțină experiență în dezvoltarea și operarea sistemelor IA pot avea nevoie să introducă aceste capacități înainte de a putea evalua sistematic performanța, gestiona riscurile sau menține documentația necesară.
-
Dimensiunea companiei și resursele disponibile. Implementarea măsurilor de conformitate necesită personal, infrastructură tehnică și coordonarea responsabilităților. Organizațiile mai mari pot avea echipe specializate de asistență juridică, asigurare a calității și conformitate, în timp ce companiile mai mici pot fi nevoite să repartizeze aceste sarcini unor angajați care se ocupă și de dezvoltarea și întreținerea sistemelor IA. Totuși, și companiile mari se pot confrunta cu dificultăți de coordonare atunci când activitățile de dezvoltare sunt distribuite între mai multe departamente sau produse [3].
Cum vă poate ajuta Kladero
Implementarea cerințelor AI Act pentru sistemele IA cu grad ridicat de risc necesită atât expertiză tehnică, cât și procese care susțin conformitatea pe întregul ciclu de viață al sistemelor IA. La Kladero, ajutăm organizațiile să abordeze aceste provocări prin combinarea capacităților de dezvoltare IA cu expertiza în guvernanța IA și cerințele de reglementare.
Pentru provocările tehnice specifice anumitor cerințe, sprijinim organizațiile să stabilească practici de guvernanță a datelor, să evalueze calitatea datelor și posibilele prejudecăți și să dezvolte metode adecvate de evaluare a acurateței și robusteții sistemelor IA. De asemenea, ajutăm organizațiile să analizeze capacitățile și limitele sistemelor lor IA și să stabilească modul în care informațiile relevante pot fi comunicate utilizatorilor și altor părți interesate. În special, valorificăm experiența dobândită prin dezvoltarea vera[tag], soluția noastră de identificare și etichetare a conținutului generat de IA, pentru a sprijini dezvoltarea unor măsuri adecvate de transparență și informare.
Pentru a aborda provocările transversale ale implementării, sprijinim integrarea managementului riscurilor, documentației tehnice, monitorizării și activităților de evaluare în fluxurile de dezvoltare existente. În funcție de sistem și de mediul său de implementare, acest lucru poate presupune dezvoltarea fluxurilor de prelucrare a datelor, implementarea infrastructurii tehnice pentru colectarea informațiilor operaționale sau stabilirea unor proceduri de documentare a modificărilor modelelor și a rezultatelor evaluării.
Deoarece eforturile de conformare depind și de capacitățile organizaționale, oferim consultanță în guvernanța IA și formare profesională pentru a ajuta organizațiile să își evalueze practicile existente, să identifice lacunele și să stabilească responsabilități și proceduri adecvate. Abordarea noastră ține cont de maturitatea organizației în domeniul IA, de mediul său de reglementare și de resursele disponibile.
Concluzii
În această postare am analizat provocările practice ale implementării cerințelor AI Act pentru sistemele IA cu grad ridicat de risc. Am discutat dificultățile tehnice privind guvernanța datelor, acuratețea, robustețea, securitatea cibernetică și transparența, precum și provocările transversale legate de documentare, monitorizare și integrarea măsurilor de conformitate în procesele de dezvoltare. Am analizat, de asemenea, modul în care maturitatea unei organizații în domeniul IA, experiența în materie de reglementare și resursele disponibile influențează capacitatea acesteia de a aborda provocările.
După cum arată discuția, înțelegerea cerințelor de reglementare este doar punctul de plecare. Sarcina mai dificilă este adesea transpunerea lor în soluții tehnice fiabile și procese care rămân eficace pe măsură ce sistemele IA evoluează. Deși acest lucru poate presupune un efort considerabil, practicile de dezvoltare existente și experiența organizațională pot oferi o bază utilă. În final, am prezentat modul în care Kladero poate susține aceste eforturi prin dezvoltare IA, consultanță în guvernanță și formare profesională.
Urmăriți-ne pentru noi articole despre reglementarea IA, guvernanță și abordări practice ale conformității cu cerințele legale.






