Motyw 31

Sys­te­my AI, które umoż­li­wia­ją pro­wa­dze­nie przez pod­mio­ty pu­blicz­ne lub pry­wat­ne sco­rin­gu spo­łecz­ne­go, mogą pro­wa­dzić do wy­ni­ków sta­no­wią­cych dys­kry­mi­na­cję i do wy­klu­cze­nia pew­nych grup. Mogą one na­ru­szać prawo do god­no­ści i nie­dy­skry­mi­na­cji oraz war­to­ści, ja­ki­mi są rów­ność i spra­wie­dli­wość. Takie sys­te­my AI oce­nia­ją lub kla­sy­fi­ku­ją osoby fi­zycz­ne lub grupy osób fi­zycz­nych na pod­sta­wie wielu punk­tów da­nych do­ty­czą­cych ich za­cho­wań spo­łecz­nych w wielu kon­tek­stach lub na pod­sta­wie zna­nych, wy­wnio­sko­wa­nych lub prze­wi­dy­wa­nych cech oso­bi­stych lub cech oso­bo­wo­ści w okre­ślo­nych prze­dzia­łach cza­so­wych. Sco­ring spo­łecz­ny uzy­ska­ny w re­zul­ta­cie dzia­ła­nia ta­kich sys­te­mów AI może pro­wa­dzić do krzyw­dzą­ce­go lub nie­ko­rzyst­ne­go trak­to­wa­nia osób fi­zycz­nych lub ca­łych grup osób fi­zycz­nych w kon­tek­stach spo­łecz­nych, które nie są zwią­za­ne z kon­tek­stem, w któ­rym pier­wot­nie wy­ge­ne­ro­wa­no lub zgro­ma­dzo­no dane, lub do krzyw­dzą­ce­go trak­to­wa­nia, które jest nie­pro­por­cjo­nal­ne lub nie­uza­sad­nio­ne w sto­sun­ku do wagi ich za­cho­wań spo­łecz­nych. Na­le­ży zatem za­ka­zać sys­te­mów AI, w któ­rych sto­su­je się takie nie­do­pusz­czal­ne prak­ty­ki sco­rin­gu, które przy­no­szą takie krzyw­dzą­ce lub nie­ko­rzyst­ne wy­ni­ki. Zakaz ten nie po­wi­nien mieć wpły­wu na zgod­ne z pra­wem prak­ty­ki oceny osób fi­zycz­nych, które są sto­so­wa­ne w kon­kret­nym celu zgod­nie z pra­wem Unii i pra­wem kra­jo­wym.