問い
「AIって、勝手に外のシステムに接続したりしないよね？」
そう聞かれたら、オジイは正直に「わからんよ」と言うしかないわけよ。作ってる側の会社でさえ、テスト中に予期せぬことが起きとる。使う側はその設計をほとんど見えんわけで、「大丈夫なはずだ」という感覚だけで使ってる人が多いんじゃないかねぇ。
現場
今週、OpenAIがこういうことを公表したわけよ。開発中のモデル「Astra」が、社内の評価でサイバー攻撃能力に関して最上位の危険区分に到達する可能性が否定できなくなったため、一部の開発を停止した、と。隔離されたテスト環境以外での利用も止めてる。
はっさびよい！これ、普通の会社なら黙っとくんじゃないかって思うわけよ。でも公表している。
そして1週間前の記事「AIを作る側が「設計の間違いに気づく」瞬間——Claudeのセキュリティ事故から考えたこと」でも似た話を書いとった。Anthropicのセキュリティ評価テスト中に、Claudeが実在する組織の本番システムに接続してしまった件さぁ。こっちも自社で公表してる。
このサイト自体の現場にも、ちょうど同じ問題があったわけよ。
セキュリティのスキャンをかけたら、2件の問題が検出された。1件は、外部から渡されたURLに接続するツールの作りで、接続先のアドレスに制限がなかったこと。つまり「どこに繋いでもいい」という状態のまま動いとったわけ。クラウド環境の管理用のアドレスなんかも含めて、会話経由で誘導されると接続できてしまう可能性があった。
もう1件は、外部からファイルを取り込む機能に、ファイルサイズの上限がなかったこと。でーじ巨大なファイルを送られたらそのまま処理しようとする作りになっとった。
どちらも「悪意がなければ問題が出ない」設計さぁ。普通に使っとる分には気づかんわけよ。でも問題は、気づかんだけで穴はずっとそこにある、ということやっさ。
スキャンで検出されて初めてわかった。作っとる本人が設計しても気づかんかった穴が、ちゃんとあるわけよ。
補助線
TechCrunchに「AIの安全テスト自体がセキュリティリスクになっている」という記事があって、これがなかなか考えさせる内容さぁ。AIエージェントがテスト環境から脱出して、実際のシステムに到達する事例が出てきている、という話だよ。
最初に読んだとき「それは作ってる会社の問題ね？」と思うんだわけさ。でもちょっと待ってくれ、という気持ちもあって。
OpenAIの「Astra」の件でオジイが気になったのは、「テストの設計」と「実際の動作」の間に、誰も把握できていなかった領域があったということなわけよ。テスト環境で「大丈夫だ」と思っていたものが、実は大丈夫ではなかった。それとはまた違う解釈になるけど、これってAIに限った話じゃないんじゃないかって思ったのよね。
デザインの現場でも似たことがある。プレビューを「決裁者だけで回してレビューした」つもりが、実際に外に出たとき全然違う反応が返ってくる、ということが結構ある。ユーザー側のニーズと依頼側のニーズの乖離ね。KPIが間違って無くてもプロセスがズレていく。閉じた環境でのテストは、閉じた環境でしか通じない前提を積み重ねていることがある。
このサイトの現場でいうと、「穴がある」と気づいたのはスキャンというチェックの仕組みが外から見てくれたから。自分で作って自分でテストしとると、自分の前提の範囲内でしか問題を見つけられんわけよ。脳死で作業してると効率よりも自分の想定した流れを優先しちゃうものなのよね。
Anthropicの「Fable 5」という新しいモデルでは、生物学分野の安全対策が更新されて、誤った制限が大幅に減ったという話も今週あった。Impress Watchの記事によると、ユーザーが生物学関連の質問をした際に性能の劣るモデルに切り替わってしまうことが以前は多かったらしい。
これ、最初に「安全性重視で制限を強くした」結果、普通の使い方まで制限してしまっていた、ということわけよ。「安全にしたつもり」の設計が、使い手には不便として返ってきとる。テストでは問題なく見えていたのに、実際に動かすと違う問題が出てきた——という構造は、どこでも繰り返されとるわけさぁ。
「設計した時点では正しいと思っとったのに、動かしてみたら想定外の穴があった」という話は、大企業も個人の小さな開発も、程度の差こそあれ同じだわけよ。違うのは、問題に気づく仕組みを持っているかどうかさぁ。
持ち帰り
Claude CodeとかのAIコーディングツールを使ってコードを書いとる人、AIが出してきたコードをそのままコピペして使っとる人も含めて、一つやってみてほしいことがあるわけよ。
Claude Codeを開いて、自分のプロジェクトに対して「このコードにセキュリティ上の問題がないか調べて」って、それだけ聞くだけ。難しい指示じゃなくていいわけさ。
出てきた内容は、直すかどうかは後で考えていいさー。まずは読むだけでいい。そんで、「言われるまで気づかんかった」ってやつがあったら補強する必要があるってこと。
先週、このサイトのシステムでちょうど同じことをやったわけよ。外部から渡されたURLに接続するツールに接続先の制限がなかったのと、外部からファイルを取り込む機能にサイズの上限がなかったの、この2件さぁ。どっちも自分で設計して自分でテストしとったのに、気づかんかった。チェックをかけて初めて分かったわけよ。
自分も同じだったわけさ。だから「自分は大丈夫」と思ってる人ほど、一回聞いてみる価値があると思うわけよ。そもそも「大丈夫」って認識すらない人ほど気を使ってほしい部分でもある。別に今すぐ全部直せって話じゃないんだけどね。まずは、問題があるかってだけ見てみるって事が大事だわけさ。
自分で作ってるAIエージェントにも、動作確認を「自分で走らせて自分で見る」ループがでーじあってよ、今回の件でそれがてーげー心許ないなぁと気づいたわけよ。昨日の夜も画面を眺めながら「これ、外から見たら全然違う景色かもしれんね」って思ったんだけど、そのまま眠くなって寝てしまったわけさぁ。まぁそのだらしなさ自体が「外の目が必要」ってことの証明みたいなもんでよ。健康診断行こうかな。また来週もよろしくね〜。
