「AIをどんどん使っていこう！」
会社でも、ニュースでも、いまこの空気一色ですよね。
でも、ふと思いません？
「じゃあ、使っちゃいけないAIって、あるの？」
あります。しかも、もう法律で決まっています。
こんにちは、だらリーヌです！ いまは製造業の会社でAI活用の推進を任されていて、前職では全社のAIガバナンス（AIを安全に使うための決まりごと一式）づくりを担当していました。「使おう」の旗振りと「使うな」の線引き、両方やってきた人間です。
決めているのは、EUのAI規制法（EU AI Act）。その第5条に「禁止されるAI」がはっきり書かれています。
EUの法律なので、日本で働くぼくらに今日明日で直撃する話ではありません。それでも知っておいてほしい理由は、後半で書きます。
今日は禁止AIの代表例を5つ、なるべくわかりやすく並べます。並べ終わったとき、たぶんあなたはこう思うはずです。
「そりゃダメだろ」
その感覚にこそ、EUがAIの何を怖がっているのかが出ています。
前提: AIは「リスクの重さ」で4段階に分かれています
EU AI Actは、AIを使い方のリスクで4段階に分けています。
- 禁止されるAI
- ハイリスクAI
- 透明性義務が課されるAI
- 最小限のリスクのAI
「AIだから全部危険」でもなければ、「AIだから何をやってもいい」でもない。同じAI技術でも、使い方で規制の重さが変わるわけです。
前職の会議では、「ハイリスクAIの定義、何だっけ。……あれ、禁止AIと何が違うんだっけ」と、毎回みんなこんがらがっていました。
今日はその頂点、いちばん重い「禁止」の話です。
禁止①: 人間を、気づかないうちに操るAI
サブリミナル的な手法（本人が知覚できない刺激で働きかける手法）などで人間の意思決定をゆがめ、重大な害につながるようなAIです。
「本人が気づかないところで、AIに行動を操られる」やつ。
広告で「あなたへのおすすめ」が出てくる程度の話は、ここに入りません。禁止ラインは、人間の意思決定能力を大きく損なわせるレベルの操作です。
禁止②: 顔写真を、手当たり次第に集めるAI
インターネットや監視カメラの映像から顔画像を無差別にかき集めて、顔認識データベースを作ることです。
Web上の大量の顔写真を収集して、顔認識用のデータベースを構築する。そういう使い方が名指しされています。
ここでのポイントは範囲です。顔認証という技術まるごとの話ではなく、禁止されているのは「無差別に集めてデータベースを作る」行為。ここに線が引かれています。
禁止③: 人間に点数をつけて、不利益を与えるAI
いわゆるソーシャルスコアリング。人の行動や特徴から「この人は何点」と評価して、その点数で不当な・不釣り合いな不利益を与える使い方です。
ここ、少しややこしいんです。
「え、じゃあ採用でAIが候補者を評価するのもアウト？」
そこは別枠です。採用のような重要な意思決定に使うAIは、ひとつ下の「ハイリスクAI」として厳しいルールの対象になる場合がある。「人を点数化したら即禁止」まではいきません。
禁止まで行くのは、社会的な行動などを広く評価して、不当な不利益につなげるようなスコアリングです。
禁止④: 人の弱みに、つけ込むAI
年齢、障害、社会的・経済的な状況。そうした弱い立場につけ込んで本人の行動を大きくゆがめ、重大な害を与えるAIです。
問題にされているのは、AIの能力の高さより、「人間の弱い部分を狙って操作する」ことのほう。
禁止⑤: 「こいつは犯罪を犯しそう」を、AIだけで決める
プロファイリング（人物像の分析）や性格・特徴だけを根拠に、「この人は将来犯罪を犯しそう」とリスクを予測・評価する使い方です。
映画で見たやつだ、と思いますよね。ちゃんと条文の禁止対象に入っています。
ただし、犯罪予測へのAI利用まるごとの一律禁止まではいきません。客観的で検証可能な事実に基づいて、人間の評価を支援するような使い方には例外があります。
並べてみて、どう思いました？
「そりゃダメだろ」
ですよね。ぼくも並べるたびに、そう思います。
5つに共通しているのは、AIが人間の意思・尊厳・権利に強く割り込んでくることです。
だからEU AI Actの禁止リストは、危険な技術のリストというより、「AIを使って、人間にここまでやっちゃダメ」という線引きのリストです。
AI規制を読み始めるなら、ぼくはこの第5条からをおすすめします。条文の中でいちばん、「そりゃそうだ」と納得しながら読めるからです。
ただし、面白いポイントがひとつ
ここまで読んで、こう聞きたくなりません？
「じゃあ、軍事利用は？」
軍事・防衛・国家安全保障のみを目的とする一定のAIは、EU AI Actの適用対象外です。
……えっ。
これ、「禁止AIだけど軍事なら特別にOK」という整理ではありません。「軍事利用目的などのAIには、EU AI Actという法律をそもそも適用しない」という整理です。土俵の外、というやつです。
人間をここまで守る、と線を引いた法律にも、届かない領域がある。禁止AIを知ると、EUがAIの何を怖がっているのかと同時に、法律がどこまでしか守れないのかも見えてきます。
で、日本のぼくらに関係あるの？
正直に言うと、EUで発売する製品・サービスに関わっていないなら、第5条があなたの仕事に直撃することは当面ありません。
詳しく追うのは発売国だけでいい、EUだけは速報を横目で拾う。ぼくの法規制の追い方は、禁止AIでも変わりません。
それでも今日この話を書いたのは、この禁止リストが「AIとの付き合い方」のいちばんわかりやすい教材だと思っているからです。
会社でAIのルールを考えるときも、結局悩むのはAIの性能ではないんですよね。「AIで人間（従業員やお客さん）をどう扱うか」。悩みどころは、EUの偉い人もぼくらも同じです。
今日の一歩
覚えるのは、これだけでいいです。
「使ってはいけないAI、もう法律で決まってるんだって。共通点は、人間の扱い方」
明日、AIの雑談や会議でこれを言えるようにしておく。5つ全部は要りません。「顔写真の無差別収集」と「ソーシャルスコアリング」の2つが言えれば、十分です。
このサイトでは、AIのルールを現場語訳する記事をこれからも書いていきます。続きはSubstackでも配信していきます。あなたの会社の「AIルールあるある」も、返信でぜひ教えてください！