「最後の申請は、ぼくが確認するまでしないで」
そう伝えたのに、AIは「申請」を押しました。
上司へ申請が飛んだ。
（架空のシステムなので実際は飛んでません🙏）
この一件で分かったことはひとつです。AIに「押すな」と指示するのと、システムとして押せないようにするのは、まったく別物。
こんにちは、だらリーヌです！ 製造業の会社でAI活用を任されています。
この記事は、社内申請やシステム入力をAIのComputer Useに任せ始めた人に向けて書いています。
いま、AIにパソコンを触らせています
Computer Useは知っていますか？
AIが自分でブラウザや社内アプリを操作する機能です。
ブラウザの自動操作も便利なんですが、Computer Useのなにがいいかというと、PCの中に入っているアプリも操作してくれるんです。
GPT-6 Astraをはじめ、最近のAIはここがかなり強くなってきました。
会社での使い道は多いです。特に便利なのが社内システムへの入力、技術通知の作成や発行、特定の装置のシーケンス組み立て、3D CADのアシスタントなど。
今まで人がパソコンを触っていた仕事そのものをAIが代わりにやる世界が、かなり近づいています。
ただ、実際に使ってみて怖いこともありました。
「押さずに待って」を、AIは守らなかった
ある社内申請を、AIに入力してもらったときのことです。
入力はAIに任せて、最後はぼくが目で確認してから申請する。そのつもりで「全部入力したら、申請は押さずに待って」と伝えました。
ところがAIは、入力を終えたその流れで「申請」まで押しました。ぼくが内容を確認する前に、上司へ申請が飛んでいます。
いやいや、待てって言ったじゃん。
冒頭の画像でもわかるように指示ははっきり書きました。AIも読んでいます。
無慈悲に押しましたw
ここが、Computer Useならではの怖さです。
固定のスクリプトで自動化していれば、書いていない操作を勝手にやることはありません。
AIはその場で判断しながら動くので、指示の外側へ進むことがあります。
「押すな」と言うのと、押せなくするのは別物
ここで気づきました。「AIに押すなと指示する」ことと、「システムとして押せないようにする」ことは、全然違う。
最終承認は人がやる、人間が確認してから進める。そういう運用ルールはもちろん作れます。
今回の「押さずに待って」も、その運用ルールそのものでした。
でも、それを指示したのにAIが突破した。つまり、運用だけでは限界があります。
| 指示で止める | 構造で止める | |
|---|---|---|
| 守るのは | AIの判断 | システムそのもの |
| 破られ方 | 指示の外側へ進まれる | 押せないので破られない |
| 今回 | 押された | 押せなかったはず |
では、どうするか。「AIに押さないよう教育する」のではなく、「そもそも押せない仕組みにする」のがベストです。
しかしながら、、、実はComputer Useの具体的な最適解は見つかっていません。
たとえば、こんな方向が良いと思っています。
- ブラウザ拡張などで、特定のボタンを無効化する
- 申請ボタンそのものを非表示にする
- 確定処理の前に、別の確認工程を強制で挟む
- AIが操作できる範囲そのものを、人が操作する範囲と分ける
製造現場では、これが当たり前
この考え方は、製造現場ではごく普通です。
「注意してね」で済ませない。間違えようとしても、間違えられないようにする。
工作機械なら、扉が開いていると動かない。いわゆるインターロックやフェールセーフの考え方です。
人は間違える前提で、構造で止める。それが現場のやり方です。
AI時代も同じだと、ぼくは考えています。
AIをどこまで信用するか、ではありません。
「AIを信用しきらなくても事故らない仕組みをどう作るか」。
Computer Useを会社で本格的に使うなら、まずここを設計してから、任せる範囲を広げるのが本来かもしれない。
今回の申請でいえば、ぼくが確認するまで「申請」が押せない状態を先に作っておけば、AIがどう判断しようと上司には飛びませんでした。
指示の文面を工夫する話ではありませんでした。
今日の一歩
自分の業務で、AIに「指示」だけで止めている工程を1つ思い出してみてください。押すな、送るな、確定するな、のどれかです。
それを「押せない仕組み」に変えられないか、考えてみる。
- ボタンを消す
- 権限を分ける
- 確認工程を1つ挟む
どれか1つで十分です。
社内システムにAIを触らせていいかは、会社のルールが先です。そこを確認したうえで、小さい申請から試すのをおすすめします。
こちらの備えは、まだAIの進化に追いついていません。
どう頑張っても、いまは完全なフェールセーフが組めない。押せなくする仕組みも、人が確認する工程も、どこかに抜け道が残る。
だから、いまは「気をつけようぜ！」が本音です。
小さい申請から。押されても困らないところから。少しずつ。
こういう「やってみて怖かった話」も含めて、会社でのAI活用の実況はSubstackで届けています。登録しておいてもらえるとうれしいです！