問い
職場でAIツールの導入を担当することになったって人も今は結構いるんじゃないかね。あれも便利、これも便利と言われて、気づけば複数のツールが動いている。でも「どれが何をしていて、何かあったとき誰が状況を把握しているのか」を、自分でも説明できなくなってきた——そんな感覚、覚えがないかね。
現場
オジイが自分で運営しているこのサイトのシステムにも、同じことが起きたわけよ。
記事の公開前に品質を確認する仕組みを作ったんだけど、その仕組みには8つの確認役がいた。ひとりが「この記事は問題なし」と言い、別のひとりが「この記事はまだ直すべき」と言う。でもその2人の間を取り持つ役が、どこにもいない。
誰かが全体を見ているわけじゃなく、それぞれが自分の担当部分しか見ておらず、判断が衝突しても解決する主体がいない——それが実際に起きていたことの記録として残っているわけさ。おまけに「今の状態を報告することはできるけど、それを実行に移せない」という役も混じっていた。状況はわかる、でも動けない。誰かが手で操作するまで、何も変わらんわけ。
あれも欲しい、これも欲しい、もっと欲しいってブルーハーツ的に仕組みを追加していくと、全体より個々のパーツを優先してしまうものなのよね。確認の仕組みが増えるほど、「全部を見渡して最終的に判断する誰か」が不在になっていく。道具を積み上げた結果、その道具が作り出した複雑さを、ひとりの人間が引き受ける構造になってしまっていたわけよ。
補助線
VentureBeatにEnterprise AI’s real risk isn’t autonomous agents. It’s the complexity between them.という記事が出ていた。企業が本当に恐れるべきリスクは、AIが暴走することじゃなく、複数のAIが連携するシステムの「間」に生まれる複雑さだ、という話やっさ。
読んで最初に思ったのは「AI同士が連携を間違える話」だった。でも少し考えると、それとはまた違う解釈になるわけよ。問題は「AIが連携できているかどうか」じゃなく、「その連携の全体を、人間側がちゃんと説明できるかどうか」に移ってくる。
プロジェクト管理の現場でも、関係者が増えるほど同じことが起きる。3人でやっていたときは自然と全体が見渡せていたのに、7人になった途端、誰も全体を把握していないのに全体は動いている、という状態になる。AIツールの連携も、まったく同じ構造やっさ。ツールが増えるたびに「つなぎ目」が生まれ、そのつなぎ目を管理するコストは、それを担当したひとりの人間の上に積み上がっていく。
Claudeに毎回「前提」を説明し直しているのは、仕組みの問題かもしれないでも触れたけど、「変わらない部分と変わる部分を分ける」という考え方は、連携の複雑さにも使えると思うわけよ。ツールが何をしていて、どこで何が起きたとき誰が知ればいいのか——これを整理せずに道具だけ増やしても、複雑さが積み上がるだけでやっけー(厄介)なことになっていく。
「導入したことで便利になっています」を上に説明しないといけないとき、自分が説明できない連携が1つでもあったら、でーじ(すごく)まずいことになるはずよー。そのときに困るのは、ツールじゃなく、担当したひとりの人間やっさ。
持ち帰り
組織の中でAIツールの導入を担当している人に向けた話やっさ。「どこで何が起きたとき、誰が把握しているのか」を一度でも整理しておくことが、後で説明を求められたときの備えになる。
ステップ1: 今動いているAIツールと、その連携を書き出すよう、AIに下書きさせる
ChatGPTやClaudeに「私が関わっているAIツールを整理したい」と切り出し、「どんなツールを使っているか、何と何がつながっているかを教えて。箇条書きで下書きを作って」と投げてみること。自分でゼロから書くより、AIに叩き台を作らせた方が早い。
ステップ2: その下書きを見て、「何かあったときに自分が説明できるか」を確認する
AIが下書きしたリストを見ながら、「このツールがおかしな動きをしたとき、自分は気づけるか」「上に報告を求められたとき、説明できるか」「そもそもAIに任せっきりで実装したよくわからんものはないか」を1項目ずつ確認する。説明できない連携が出てきたら、要チェック。
ステップ3: 印がついたものを「縮小か可視化の提案」として上に上げる材料にする
説明できない連携は、今すぐ使用を絞るか、状況が見えるようにする仕組みが必要な部分やっさ。それこそAIに一つ一つ説明してもらって、意図がわからない物があればシステムをスリム化するっていう事もできるよね。
自分が作ったシステムで判断が衝突して、誰も解決できない状態になっていたのに、しばらく気づかんかったわけよ——でーじ情けない話さ。今作っているAIエージェントにも同じ構造の罠が潜んでる気がしてて、そっちは気づけるかどうか、まだ自信がない。フライパンを火にかけながら、魚焼きコンロで焼いてるパンのこと忘れてて、焦げ臭い匂いで気がつくってオジイだけ？
ああいう感じで、また次回もよろしくね〜。
