Wyzwania związane z wdrażaniem unijnego aktu o sztucznej inteligencji w odniesieniu do systemów AI wysokiego ryzyka
W tym wpisie analizujemy praktyczne wyzwania związane z wdrażaniem wymogów unijnego aktu o sztucznej inteligencji dotyczących systemów AI wysokiego ryzyka. Przedstawiamy odpowiednie obowiązki oraz omawiamy wyzwania techniczne i przekrojowe związane z zarządzaniem danymi, niezawodnością systemów, przejrzystością, dokumentacją i monitorowaniem. Analizujemy również, w jaki sposób możliwości organizacji wpływają na działania na rzecz zgodności z przepisami oraz jak Kladero może wspierać organizacje poprzez rozwój rozwiązań AI, doradztwo w zakresie zarządzania AI i szkolenia.

Wprowadzenie
Unijny akt w sprawie sztucznej inteligencji („AI Act”) ustanawia kompleksowe ramy regulacyjne dotyczące rozwoju i wykorzystywania sztucznej inteligencji (AI) w UE [1], [2]. W zależności od rodzaju systemu AI, jego zamierzonego przeznaczenia oraz roli danej organizacji akt wprowadza wymogi dotyczące zarządzania ryzykiem, zarządzania danymi, przejrzystości, nadzoru człowieka, dokumentacji technicznej oraz innych aspektów rozwoju i stosowania AI.
Jednak ustalenie, które wymogi regulacyjne mają zastosowanie, jest tylko jednym z elementów zapewnienia zgodności. Organizacje muszą również określić, jak wdrożyć odpowiednie wymogi w istniejących systemach AI, infrastrukturze technicznej, procesach rozwoju oprogramowania i sposobach organizacji pracy. Przykładowo wymogi dotyczące jakości danych, dokładności i odporności mogą wymagać zmian w sposobie trenowania, oceny i monitorowania modeli AI, natomiast obowiązki związane z zarządzaniem ryzykiem i dokumentacją mogą wymagać ustanowienia nowych procedur wewnętrznych oraz podziału odpowiedzialności. Wdrażanie takich środków może stanowić poważne wyzwanie, zwłaszcza gdy istniejące systemy i procesy rozwojowe nie były pierwotnie projektowane z myślą o spełnianiu wymogów regulacyjnych [3].
Wdrażanie AI Act może być szczególnie trudne dla dostawców systemów AI wysokiego ryzyka, które podlegają niektórym z najbardziej rozbudowanych wymogów tego rozporządzenia. Do tej kategorii należą określone zastosowania mogące znacząco wpływać na zdrowie, bezpieczeństwo lub prawa podstawowe ludzi. Obejmują one zarówno systemy AI służące do oceny kandydatów do pracy, oceny wyników nauczania czy zdolności kredytowej osób fizycznych, jak i systemy AI wykorzystywane jako elementy bezpieczeństwa w zarządzaniu infrastrukturą krytyczną i jej eksploatacji — zależnie od właściwych kryteriów klasyfikacji [1].
W tym wpisie przyglądamy się głównym wyzwaniom związanym z wdrażaniem wymogów AI Act dla systemów AI wysokiego ryzyka, omawiamy wpływ możliwości technicznych i praktyk organizacyjnych na działania na rzecz zgodności oraz rozważamy sposoby radzenia sobie z tymi wyzwaniami.
Wymogi dotyczące systemów AI wysokiego ryzyka
Zgodnie z art. 6 AI Act systemy AI mogą zostać zaklasyfikowane jako systemy wysokiego ryzyka ze względu na ich zamierzone przeznaczenie oraz ryzyko związane z ich stosowaniem. Rozporządzenie wyróżnia w szczególności dwie główne kategorie:
-
Systemy AI objęte przepisami dotyczącymi bezpieczeństwa produktów. Systemy AI stanowiące elementy bezpieczeństwa produktów lub same będące produktami objętymi określonym unijnym prawodawstwem harmonizacyjnym mogą zostać zaklasyfikowane jako systemy wysokiego ryzyka, jeżeli odpowiednie produkty lub systemy wymagają oceny zgodności przez stronę trzecią. Przykłady obejmują niektóre zastosowania związane z wyrobami medycznymi, maszynami i innymi produktami podlegającymi regulacjom.
-
Systemy AI stosowane w określonych obszarach wysokiego ryzyka. Załącznik III wskazuje szereg obszarów, w których systemy AI mogą zostać uznane za systemy wysokiego ryzyka, w tym biometrię, infrastrukturę krytyczną, edukację, zatrudnienie, dostęp do podstawowych usług, egzekwowanie prawa, migrację i kontrolę graniczną oraz wymiar sprawiedliwości. Przykładowo do tej kategorii mogą należeć systemy AI wykorzystywane do oceny kandydatów do pracy lub zdolności kredytowej osób fizycznych. Artykuł 6 przewiduje również wyjątki dla niektórych systemów wymienionych w załączniku III, które nie stwarzają znaczącego ryzyka na warunkach określonych w rozporządzeniu [1].
Aby systemy AI wysokiego ryzyka spełniały wymogi AI Act, ich dostawcy muszą wdrożyć szereg środków technicznych i organizacyjnych w całym okresie ich rozwoju i eksploatacji. Artykuły 8–17 określają wymogi dotyczące zarządzania ryzykiem, danych i zarządzania danymi, dokumentacji technicznej, rejestrowania zdarzeń, przejrzystości, nadzoru człowieka, dokładności, odporności, cyberbezpieczeństwa i zarządzania jakością [1], [2].
Do najważniejszych wymogów należą:
-
Zarządzanie ryzykiem (art. 9). Dostawcy muszą ustanowić i utrzymywać system zarządzania ryzykiem służący identyfikacji, ocenie i ograniczaniu zagrożeń dla zdrowia, bezpieczeństwa i praw podstawowych w całym cyklu życia systemu AI. Zarządzanie ryzykiem obejmuje również ocenę skuteczności środków ograniczających ryzyko oraz reagowanie na istotne zagrożenia pojawiające się podczas rozwoju i użytkowania systemu.
-
Dane i zarządzanie danymi (art. 10). Systemy AI wysokiego ryzyka opracowywane z wykorzystaniem technik trenowania modeli muszą spełniać wymogi dotyczące jakości danych treningowych, walidacyjnych i testowych oraz zarządzania nimi. Odpowiednie działania obejmują badanie przydatności i reprezentatywności zbiorów danych, identyfikowanie potencjalnych uprzedzeń i stronniczości oraz rozwiązywanie problemów z jakością danych.
-
Dokumentacja techniczna i rejestrowanie zdarzeń (art. 11–12). Dostawcy muszą sporządzać i aktualizować dokumentację techniczną wykazującą, w jaki sposób system AI spełnia mające zastosowanie wymogi. Systemy AI wysokiego ryzyka muszą także umożliwiać automatyczne rejestrowanie zdarzeń w całym cyklu życia, zwykle nazywane logowaniem, w celu zapewnienia identyfikowalności i monitorowania.
-
Przejrzystość i nadzór człowieka (art. 13–14). Systemy AI wysokiego ryzyka muszą być wystarczająco przejrzyste, aby podmioty stosujące mogły interpretować ich wyniki i odpowiednio je wykorzystywać. Dostawcy muszą udostępniać stosowne instrukcje i informacje o możliwościach oraz ograniczeniach systemu. Ponadto systemy muszą być projektowane w sposób umożliwiający skuteczny nadzór człowieka, w tym zrozumienie i monitorowanie ich działania oraz — w odpowiednich przypadkach — interwencję.
-
Dokładność, odporność i cyberbezpieczeństwo (art. 15). Systemy AI wysokiego ryzyka muszą osiągać odpowiedni poziom dokładności, odporności i cyberbezpieczeństwa w całym cyklu życia. Odpowiednie środki obejmują testowanie działania systemu, uwzględnianie racjonalnie przewidywalnych błędów i awarii oraz ochronę przed próbami manipulowania zachowaniem systemu lub naruszenia jego bezpieczeństwa.
-
Zarządzanie jakością (art. 17). Dostawcy muszą ustanowić system zarządzania jakością obejmujący procedury i obowiązki niezbędne do zapewnienia zgodności z przepisami. System ten obejmuje między innymi działania związane z projektowaniem i rozwojem, testowaniem, dokumentacją, zarządzaniem ryzykiem oraz monitorowaniem po wprowadzeniu do obrotu [1].
Poza wymogami dotyczącymi projektowania, rozwoju i eksploatacji systemów AI wysokiego ryzyka AI Act nakłada na ich dostawców dodatkowe obowiązki. W szczególności dostawcy muszą przechowywać dokumentację techniczną przez odpowiedni okres, co do zasady dziesięć lat zgodnie z art. 18, oraz zachowywać automatycznie generowane logi pozostające pod ich kontrolą przez co najmniej sześć miesięcy, chyba że właściwe przepisy stanowią inaczej (art. 19). Muszą również podejmować działania naprawcze w razie niezgodności (art. 20), współpracować z właściwymi organami, udostępniając odpowiednie informacje i dokumentację na uzasadniony wniosek (art. 21), a w wymaganych przypadkach wyznaczyć upoważnionego przedstawiciela w Unii (art. 22). Dalsze obowiązki dotyczą oceny zgodności, deklaracji zgodności, oznakowania CE, rejestracji, monitorowania po wprowadzeniu do obrotu oraz zgłaszania poważnych incydentów [1], [2].
Wyzwania związane z wdrażaniem wymogów dla systemów AI wysokiego ryzyka
Chociaż AI Act określa wymogi wobec systemów AI wysokiego ryzyka, przełożenie ich na środki techniczne i procedury organizacyjne może być bardzo trudne. Niektóre wyzwania wynikają bezpośrednio z poszczególnych wymogów, na przykład z konieczności identyfikowania i ograniczania stronniczości w danych treningowych lub oceny odporności systemu AI. Inne dotyczą działań wspierających jednocześnie kilka wymogów, takich jak dokumentacja, monitorowanie i utrzymywanie zgodności w całym cyklu życia systemu. Skala trudności zależy ponadto od możliwości technicznych organizacji, istniejących procedur i doświadczenia regulacyjnego [3].
Wyzwania techniczne związane z poszczególnymi wymogami
Niektóre wymogi AI Act wiążą się z wyzwaniami technicznymi, dla których odpowiednie sposoby realizacji zależą od charakterystyki i zamierzonego przeznaczenia systemu AI. W badaniu wielu przypadków obejmującym sześć firm i trzech niezależnych ekspertów Wagner i współautorzy wskazali zarządzanie danymi, dokładność, odporność, cyberbezpieczeństwo i przejrzystość jako wymogi szczególnie często postrzegane jako trudne we wdrożeniu [3].
-
Zarządzanie jakością danych i stronniczością. Identyfikowanie i ograniczanie stronniczości w danych treningowych może być trudne, ponieważ zbiory danych mogą zawierać systematyczne nierównowagi, które nie są od razu widoczne, a całkowite wyeliminowanie wszystkich źródeł stronniczości może być nierealistyczne [4]. Organizacje potrzebują więc metod wykrywania, oceny i ograniczania stronniczości istotnej dla zamierzonego zastosowania systemu AI. Pozyskanie odpowiednich zbiorów danych stwarza dodatkowe trudności, gdy dane podlegają ograniczeniom prawnym, pochodzą od klientów niechętnych do ich udostępnienia lub nie reprezentują należycie planowanego zastosowania. Problemy te są szczególnie istotne dla wymogów zarządzania danymi na podstawie art. 10, obejmujących wiele etapów przetwarzania danych.
-
Ocena dokładności, odporności i cyberbezpieczeństwa. Ocena niezawodności działania systemu AI wymaga odpowiednich miar, reprezentatywnych danych testowych i procedur testowania odzwierciedlających przewidywane warunki działania. Dobór miarodajnych wskaźników dokładności może być szczególnie trudny w przypadku systemów, których wyników nie da się ocenić względem jednej, jednoznacznie poprawnej odpowiedzi (np. generatywnych systemów AI tworzących swobodne wypowiedzi tekstowe w odpowiedzi na pytania użytkowników). Testowanie odporności musi ponadto uwzględniać zmienne dane wejściowe, błędy i potencjalnie szkodliwe pętle sprzężenia zwrotnego w systemach uczących się w sposób ciągły. Cyberbezpieczeństwo stwarza kolejne trudności, ponieważ systemy AI mogą być podatne na ataki na różnych etapach cyklu życia, w tym zatruwanie danych podczas trenowania i manipulowanie danymi wejściowymi podczas działania. Identyfikowanie istotnych zagrożeń i ocena odpowiednich zabezpieczeń wymagają analiz bezpieczeństwa dostosowanych do systemu i środowiska jego wdrożenia [3], [5].
-
Wyjaśnianie działania i ograniczeń systemów AI. Przekazanie podmiotom stosującym wystarczających informacji o możliwościach, ograniczeniach i właściwym użyciu systemu AI może być trudne, gdy jego działanie jest słabo interpretowalne. W szczególności złożone modele uczenia maszynowego mogą generować wyniki bez łatwo zrozumiałego wyjaśnienia procesu decyzyjnego, który do nich doprowadził [6]. Dostawcy muszą określić, jakie informacje pomagają podmiotom stosującym interpretować wyniki i rozumieć warunki właściwego użytkowania systemu, zgodnie z art. 13. Ujawnianie szczegółów technicznych może również budzić obawy związane z ochroną własności intelektualnej i ryzykiem udostępnienia informacji istotnych dla bezpieczeństwa [3].
Przekrojowe wyzwania wdrożeniowe
Podczas gdy niektóre wyzwania wynikają z poszczególnych wymogów, inne wpływają jednocześnie na kilka obowiązków. Do ważnych wyzwań przekrojowych należą:
-
Utrzymywanie dokumentacji i identyfikowalności. Wykazanie zgodności wymaga dokumentowania istotnych decyzji technicznych, charakterystyki systemu, wyników oceny i działań związanych z zarządzaniem ryzykiem. Utrzymanie aktualności tych informacji może być trudne, gdy modele AI, zbiory danych i komponenty oprogramowania często się zmieniają. Na przykład po aktualizacji wdrożonego modelu organizacja może potrzebować ustalić, która wersja modelu była używana, jakie testy przeprowadzono oraz czy wcześniejsze oceny ryzyka pozostają aktualne. Wyzwania te łączą wymogi dotyczące dokumentacji i logowania z art. 11–12 z szerszymi obowiązkami w zakresie zarządzania ryzykiem i jakością wynikającymi z art. 9 i 17.
-
Monitorowanie wdrożonych systemów AI. Dostawcy mogą mieć ograniczony dostęp do informacji o tym, jak ich systemy AI działają po wdrożeniu, szczególnie gdy są obsługiwane w środowiskach technicznych klientów. Klienci mogą nie chcieć udostępniać danych operacyjnych ze względu na poufność, prywatność lub cyberbezpieczeństwo, a ograniczenia techniczne mogą utrudniać gromadzenie i przechowywanie logów. Ograniczenia te komplikują monitorowanie po wprowadzeniu do obrotu, badanie problemów z działaniem systemów oraz identyfikowanie ryzyk ujawniających się podczas ich użytkowania [3].
-
Integracja zgodności z procesami rozwojowymi. Oceny ryzyka, procedury testowania, dokumentacja i działania naprawcze muszą być ze sobą skoordynowane podczas rozwoju, aktualizacji i utrzymania systemów AI. Działania te mogą jednak być już rozdzielone między różne zespoły i narzędzia. Przykładowo aktualizacja modelu zmieniająca jego działanie może wymagać ponownej oceny, odpowiedniej aktualizacji dokumentacji technicznej i przeglądu dotychczasowych mechanizmów kontroli ryzyka. Ustanowienie procedur łączących te czynności jest zatem ważne dla utrzymania zgodności w miarę rozwoju systemów AI.
Czynniki organizacyjne wpływające na wdrożenie
Trudność wdrażania wymogów dotyczących systemów AI wysokiego ryzyka zależy również od istniejących możliwości organizacji i warunków jej działalności. Na zakres dodatkowej pracy niezbędnej do osiągnięcia zgodności może wpływać kilka czynników:
-
Branża i doświadczenie regulacyjne. Organizacje działające w sektorach silnie regulowanych, takich jak technologie medyczne, mogą już dysponować procedurami zarządzania ryzykiem, zapewniania jakości, dokumentacji technicznej i bezpieczeństwa produktów. Niektóre z tych procesów mogą stanowić podstawę wdrażania wymogów AI Act, choć zgodność z istniejącymi regulacjami nie oznacza automatycznie zgodności z AI Act. Podobnie przedsiębiorstwa tworzące systemy istotne dla bezpieczeństwa mogą już stosować rozbudowane praktyki oceny dokładności, odporności i cyberbezpieczeństwa.
-
Dojrzałość w zakresie AI i wiedza techniczna. Organizacje posiadające ugruntowane praktyki rozwoju AI mogą już dysponować procedurami zarządzania danymi, metodami oceny modeli i infrastrukturą do monitorowania wdrożonych systemów. Natomiast organizacje o mniejszym doświadczeniu w tworzeniu i eksploatacji systemów AI mogą potrzebować dopiero zbudować takie możliwości, zanim będą w stanie systematycznie oceniać wydajność, zarządzać ryzykiem i prowadzić niezbędną dokumentację.
-
Wielkość firmy i dostępne zasoby. Wdrożenie środków służących zgodności wymaga personelu, infrastruktury technicznej i koordynacji odpowiedzialności. Większe organizacje mogą mieć wyspecjalizowane zespoły prawne, zapewnienia jakości i zgodności, podczas gdy mniejsze firmy mogą dzielić te zadania między pracowników zajmujących się również rozwojem i utrzymaniem systemów AI. Jednocześnie duże przedsiębiorstwa mogą napotykać problemy z koordynacją, gdy prace rozwojowe są rozproszone między wieloma działami lub produktami [3].
Jak Kladero może pomóc
Wdrożenie wymogów AI Act dotyczących systemów AI wysokiego ryzyka wymaga zarówno wiedzy technicznej, jak i procesów wspierających zgodność w całym cyklu życia systemu. W Kladero pomagamy organizacjom mierzyć się z tymi wyzwaniami, łącząc kompetencje w zakresie rozwoju AI z wiedzą o zarządzaniu AI i wymogach regulacyjnych.
W obszarze wyzwań technicznych związanych z poszczególnymi wymogami wspieramy organizacje we wdrażaniu praktyk zarządzania danymi, ocenie jakości danych i potencjalnej stronniczości oraz opracowywaniu odpowiednich metod oceny dokładności i odporności systemów AI. Pomagamy również analizować możliwości i ograniczenia systemów AI oraz ustalać, jak przekazywać istotne informacje użytkownikom i innym zainteresowanym stronom. W szczególności wykorzystujemy doświadczenie zdobyte podczas rozwijania vera[tag], naszego rozwiązania do identyfikowania i oznaczania treści generowanych przez AI, aby wspierać opracowywanie odpowiednich środków przejrzystości i ujawniania informacji.
Aby sprostać przekrojowym wyzwaniom wdrożeniowym, wspieramy integrację zarządzania ryzykiem, dokumentacji technicznej, monitorowania i oceny z istniejącymi procesami rozwojowymi. W zależności od systemu i środowiska wdrożenia może to obejmować tworzenie potoków przetwarzania danych, wdrażanie infrastruktury technicznej do gromadzenia informacji operacyjnych lub ustanawianie procedur dokumentowania zmian modeli i wyników ich oceny.
Ponieważ działania na rzecz zgodności zależą również od możliwości organizacyjnych, oferujemy doradztwo w zakresie zarządzania AI i szkolenia, które pomagają organizacjom ocenić istniejące praktyki, zidentyfikować luki oraz ustalić odpowiedni podział odpowiedzialności i procedury. Uwzględniamy przy tym dojrzałość organizacji w zakresie AI, jej otoczenie regulacyjne i dostępne zasoby.
Podsumowanie
W tym wpisie omówiliśmy praktyczne wyzwania związane z wdrażaniem wymogów unijnego AI Act dotyczących systemów AI wysokiego ryzyka. Przedstawiliśmy trudności techniczne związane z zarządzaniem danymi, dokładnością, odpornością, cyberbezpieczeństwem i przejrzystością, a także wyzwania przekrojowe dotyczące dokumentacji, monitorowania i włączania środków zapewniających zgodność do procesów rozwojowych. Przyjrzeliśmy się również temu, jak dojrzałość organizacji w zakresie AI, doświadczenie regulacyjne i dostępne zasoby wpływają na możliwość sprostania tym wyzwaniom.
Jak pokazuje ta analiza, zrozumienie wymogów prawnych to dopiero punkt wyjścia. Trudniejszym zadaniem bywa przełożenie ich na niezawodne rozwiązania techniczne i procedury, które pozostaną skuteczne w miarę rozwoju systemów AI. Choć może to wymagać znacznego wysiłku, istniejące praktyki rozwojowe i kompetencje organizacyjne mogą stanowić wartościową podstawę. Na koniec wskazaliśmy, jak Kladero może wspierać te działania poprzez rozwój rozwiązań AI, doradztwo w zakresie zarządzania AI i szkolenia.
Zapraszamy do śledzenia kolejnych wpisów o regulacjach dotyczących AI, zarządzaniu AI i praktycznych sposobach zapewniania zgodności z przepisami.






