参考文献：
英国の刑事司法制度は、ある巨大なAIシステムに依存している。「OASys（Offender Assessment System）」と呼ばれるこのシステムは、2001年から2005年にかけて導入され、現在までに700万件以上のリスクスコアを蓄積してきた。毎日1300件以上の評価を処理し、その結果は保釈の判断、量刑、刑務所の配置、更生プログラムへのアクセスに直接影響を与えている。
問題は、そのスコアが公平ではなかったことだ。
「人種によって精度が違う」という致命的な欠陥
2015年に行われた公式評価で、OASysのリスクスコアは黒人やミックスルーツの個人に対して「不均衡に不正確」であることが確認された。白人の個人と比較して、有色人種に対する評価の精度が体系的に低いのだ。
社会的企業Breakthrough Social Enterpriseのソバナン・ナレンティラン氏はこう指摘する。「構造的な人種差別やその他の体系的バイアスが、OASysのリスクスコアに — 直接的にも間接的にも — 組み込まれている可能性がある」。
つまり、このシステムは犯罪を予測しているのではなく、過去の差別を再生産している。
「殺人予測ツール」の開発も進行中
さらに懸念されるのは、英国法務省が開発を進めている新たなシステムだ。当初「殺人予測プロジェクト」と呼ばれていたこのツールは、現在「リスク評価改善のためのデータ共有」という無害な名前に改められている。
このシステムは、保護観察サービスと警察のデータを統合し、「殺人を犯すリスクが最も高い人物」を特定することを目的としている。収集されるデータには、氏名、生年月日、性別、民族、そしてメンタルヘルス、依存症、自殺リスク、障害といった「健康マーカー」が含まれる。
対象は有罪判決を受けた人物だけではない。まだ何の罪も犯していない個人もプロファイリングの対象だ。
データが人間を「構築」する
OASysの運用現場からは、深刻な証言が上がっている。ある終身刑の受刑者は、自分のデータに根拠のない「ギャング」のラベルが貼られていたと訴えた。そして、不正確なデータが蓄積されていく過程を「小さな雪球が坂道を転がるようなもの」と表現し、こう語った。
「気がつけば、私はもう存在していなかった。私は彼らの想像の産物になっていた」。
誤ったデータの修正を求めるプロセスは「苛立たしく、しばしば不透明」だと報告されている。一度システムに入力されたラベルは、本人の手では容易に剥がせない。
フィードバックループという構造的な罠
犯罪予測AIの根本的な問題は、フィードバックループにある。
歴史的に特定のコミュニティが過剰に取り締まられてきた結果、そのコミュニティの住民は警察のデータベースに過剰に記録されている。アルゴリズムはそのデータを「犯罪リスクが高い」と解釈し、さらなる取り締まりの強化を推奨する。取り締まりが増えればデータも増え、データが増えればリスクスコアも上がる。
Statewatchのソフィア・ライアル氏はこう断じている。「犯罪を『予測』するアルゴリズムシステムが本質的に欠陥を抱えていることは、何度も何度も研究で示されている」。
英国法務省は、どちらのシステムも民族を直接的な予測変数として使用していないと主張している。だが、貧困地域の出身であること、特定の郵便番号に住んでいること、メンタルヘルスの履歴があること — これらの変数はすべて、人種と強く相関している。民族を入力しなくても、差別は出力される。
700万件のリスクスコア。毎日1300件の新たな評価。その一つひとつが、誰かの自由を左右する。その精度が「人種によって違う」とわかっていながら、システムは今日も動き続けている。
