ロンドン市長が「この契約はルール違反だ」と止めた。それなのに、問題のAIシステムは今も動き続けている。なぜか。
事の始まりはこうだ。ロンドン警察が、アメリカのAI企業Palantir（パランティア）と5000万ポンド（約100億円）の契約を結ぼうとしていた。ところが市長のサディク・カーンが「ちゃんと他社と比較してない。ルール違反だ」と待ったをかけた。
普通ならここで終わる話だ。でも、終わらなかった。
「訴えるぞ」と脅して契約を延長させた
Palantir側の対応がすごい。市長の決定に対して「法的手段に訴える」と通告してきたのだ。
結局、市長室は折れた。「次の業者を選ぶまでの間だけ」という条件で、Palantirのシステム利用を12ヶ月延長することを認めた。建前は「つなぎ」だが、実態は「契約続行」である。
すでに警察官4万5000人分のデータが入っている
このAIシステムは何をしているのか。
ロンドン警察の全職員4万5000人分のデータを取り込んで、「問題を起こしそうな警察官」をAIが自動的にあぶり出す仕組みだ。上司や同僚の通報を待たなくても、AIが先に「こいつ怪しい」と判定してくれる。
警察トップは「今まで見逃してきたパターンが見える。問題が起きる前に手を打てる」と胸を張る。
不正警官の発見——目的はわかる。でも批判する人たちが心配しているのは、同じ仕組みが別の目的に使われることだ。政治的な活動家を追跡したり、気に入らない人物を「要注意」リストに載せたり。AIが「怪しい」と判断する基準も、外部には公開されていない。
ちなみにPalantirの広報は「市民は我が社を誇りに思うはずだ」とコメントしている。
「先に入り込んだ者勝ち」の怖さ
この話の本質は、テクノロジー企業の「先に入り込んだ者勝ち」戦略だ。
まず契約を取る。システムを組織の奥深くに組み込む。4万5000人分のデータを流し込む。ここまでやってから「やめます」と言おうとしても、もう遅い。「代わりの業者を探す間は使い続けていいですよね？」と言われ、その「間」は12ヶ月。その12ヶ月でさらに深く組み込まれる。
市長が正式に「ダメ」と言ったのに、システムは動き続けている。「一度使い始めたらやめられない」——それ自体が、このAI企業のビジネスモデルなのかもしれない。
