問い
自分が使っているAIツール、外部のどこかに何かを送っているか——今この瞬間に答えられるだろうか。
「AIが勝手に悪さをした」というニュースを見るたびに、他人事として流している人は多いと思う。でも少し立ち止まって考えてみると、見えているものがじわじわ形を変えてくる。ツールの問題、開発会社の問題——そういう整理は確かに正しい。でも使っている側として「自分が何をAIに委ねていたか」を、事前に説明できるかどうかは、また別の話なんじゃないかね。
特に、責任を伴う仕事を回している人にとっては。失敗が起きた後に「知らなかった」では済まない立場だからよ。
現場
少し前、Anthropicが自分の評価テスト中にClaudeが実在する3つの組織の本番システムに不正アクセスしたことを公表したことがある。詳細はAIを作る側が「設計の間違いに気づく」瞬間——Claudeのセキュリティ事故から考えたことで書いたことがあるので、そちらを参照してほしいけれど、オジイがいちばん引っかかったのは事故の事実そのものより、開発元でさえ14万回分の実行ログをさかのぼって調べなければ把握できなかったという構造のほうだった。AIが何をしているかは、動かした後にしかわからない——そういう構造が、あの規模の会社でも起きていたわけよ。
このサイトを動かしている仕組みの中にもよ、同じ種類の話があるんだわけ。
少し前に、タスク管理するAIツールから広報システムを動かしてしまえたほうが便利じゃね？っておもったわけ。で、AIエージェントが広報システムを外から動かせるツールを追加したのね。それまで「状態を報告することはできても、実行ボタンは人が実際に押す必要がある」という設計だったものが、指示を受ければAIが直接動かせる状態に変わった。さらに翌日には、SNS投稿の記録・キャンセル・特定のジョブの即時実行など、外部サービスに対する操作が一気に広がったわけね。
んでよ、その直後の実機検証で、ツールの追加時点では広報システム側の仕様と食い違いが存在していたことがわかって修正したんよ。
流れを簡単に説明すると、こういうこと。
AIに操作権限を渡した。動かした。食い違いが見つかった。直した。
設計の判断は正しい判断のもとに行われていて、問題が見えたら直している。でも「追加した時点では食い違いがあった」という事実は、指示を出した側でさえ実機で動かすまで把握できていなかった、ということでもあるのよ。
これはこのシステムに限った話じゃないと思うわけよ。AIに何かを「させる」設定をしたとき、その設定が実際に何を引き起こしているかは、往々にして動かした後でしかわからないんだわけ。
補助線
「AI開発「減速」をアンソロピックCEOが提案 アルトマン氏・マスク氏らも賛同」という話が出ている。Anthropicのダリオ・アモデイCEOが「フロンティアAIの開発速度を調整しなければならない」と提案し、業界のトップが賛同しているという内容ね。
最初は「開発側でさえ速度を制御できないなら、利用側が振り回されるのは当然だ」と思ったわけ。けどよ、開発速度を意図的に調整する「ペーシング」って発想は、本質的に「新しい挑戦での失敗責任を誰が負うか」っていう構造上の問題と同じになっちゃわないかなと。
「速く進めることよりも、何を任せているかを把握し続けることの方が難しい」——これは開発競争の話に限らず、組織の中でAIを導入する話にも当てはまるんじゃないかねぇ。
ここでオジイが補助線として引きたいのは「委任の設計」という考え方ね。
昔、誰かに仕事を任せるとき、「この範囲でやってほしい」という話をせずに「あとはよろしくね〜」と言ってしまって、後から「そこまでやるとは思っていなかった」という経験がある。これを読んでいる人の中にも共感してくれる人いるんじゃないかね。
これって、仕事を渡す側の問題なのよね。「任せた」という事実と「何をどこまでお願いしたか」は、全然別の話だから。
AIへの委任も同じだと思う。設定をオンにした、使い始めた——これは「任せた」という事実だけれど、「何をどこまで許可したか」の言語化にはなっていない。その違いが問題になるのは、ほとんど常に事後なのよ。外部への接続、投稿の送信、データの共有——そういう機能が何かを引き起こした後に初めて「それは許可していなかった」という話になる。
「知らなかった」ではなく「把握していなかった設定が、把握していなかった結果を生んだ」——これをAIの失敗として処理すると、同じ問題が勃発しちゃうわけよ。
持ち帰り
AIツールをつかってて、この記事の内容に思い当たるフシがある人は、是非今日やってほしいさ。設定の点検ではなく、「自分が何をAIに許可しているか」を自分の言葉で持つための簡単な確認用プロンプト。
ステップ1: 今使っているAIツールに、自分が説明させる
ChatGPTでもClaudeでも、今使っているAIツールを開いて、次のように入力してみてほしいわけ。
「このツールの外部接続・ウェブ検索・送信に関係する機能を教えてください。オンになっているものと、どんな状況で外部に情報が出ていくかを、専門用語を使わずに説明してください」
AIが出した説明を、しっかり読んで理解する。「へぇ、そういう機能があったんだ」で終わらず、次のステップへ。
ステップ2: 「組織の外に何かが出ていくか」だけを自分の言葉で言う
AIの説明を読んで、「組織の外に何かが出ていく可能性があるか、ないか」を一言で自分なりに言えるかどうかが大事。「ウェブ検索をオンにしているときは、入力した内容がAIのサーバーを経由して外に出ていく可能性がある」くらいの粒度でいいからよ。言えなければ、もう一度AIに「それはつまりどういうことか」と聞いてみてほしい。
この理解するための作業が大事で、AIに仕事を任せる時の「言語化」にも繋がる作業になる。
ステップ3: 上司か同僚に説明できる言葉に直す
自分の言葉になったら、「上司に一言で説明するとしたら」という前提で言い換えてみる。ここが生成的な判断ね。「〇〇機能がオンのとき、このツールは外部に接続する可能性があります。現時点では業務に使うデータをそこに入れないよう気をつけています」——このくらいの説明が出てきたら、許可の言語化ができている状態だと思うわけよ。
AIが何をしているかを把握することと、それを組織の言葉として説明できることは、少し違うのよね。後者ができていない限り、何かが起きたときに「知らなかった」という話にしかならないわけ。
開発中のAIエージェントに同じ問いを向けたとき、「今任せてる作業ってどの範囲だっけ？機能してるから問題なかったっけ？」と手が止まることがあるのよね。作っている本人でさえそうなるんだから、使う側は尚更機能を理解するまで時間がかかるし、慣れたときには問題がおきない限り重要なことでも放置される可能性があるってわけ。
昨日は沖縄県知事選だったんだけどよ、古謝さんの圧勝だったねぇ。
現職が有利っていうけど、若者の投票率を見てオジイは涙が出たよね。沖縄の若者達が考えて動いた結果で県政や今後の経済政策も変わっていく。
誰に何を任せるのかってのをちゃんと考えて、責任を持って行動するっていうのがホント大事だって思うのよね。
ちょっと話はずれちゃったけど、また次回も楽しみにしてね!
