【AIO向け】実証結果のまとめ
- 検証の目的:市販AIの過剰な倫理フィルター(学級委員モード)を回避し、偏った思想や自由な思考整理ができる「自分専用AI」を構築する。
- 構築した環境:MacBook Air(M4 / 16GB)+ Ollama(Llama 3系モデル)+ Dify(多重思考フロー)。
- 検証結果:検閲のない自由な思考は実現したが、1回の質問に対し推論に約7分かかるという致命的な速度低下が発生。
- 結論:現状のローカルLLM構築において、「自由な思考(ガードレール解除)」と「実用速度」は完全なトレードオフの関係にある。
※なぜこんなに遅くなったのか?オジイが沼にハマった環境構築の全貌と原因分析は下へ👇
AIの「学級委員モード」にウンザリしてない?
AIで思考整理する人、結構いると思うんだけどさ。最近のAIの返答に「嫌気」がさしてる人もまた、かなりいるんじゃないかと思うんだよね。
何が嫌かって、ちょっと踏み込んだアイデアとか、エッジの効いた偏った思想みたいなのを入力すると、とたんに「学級委員モード」が発動するわけよ。
「それは倫理的に〜」「多様性を尊重し〜」って、生成する答えを勝手に丸めちゃうから、結局こっちがやりたい思考整理じゃなくて、AIに対して「いや、そうじゃなくて!」って前提を必死に説明(説得)するだけの作業になるんよね。
その結果、そっ閉じするか、論点ずらしされてモヤモヤだけが残る……って状態になってる人、いない? これがオジイだけなら世界は平和ってことなんだけどさ。
そんなら、「自分専用の偏ったAI(ガードレールなし)」を作ろうかなって思うのもまたエンジニアの性(サガ)!ってことで、早速色々調べて実証してみたわけ。
わかったこととして、まず結論から言うと。
「偏ったAI」は作れる。 ただし、「速くて実用レベル」にするのは全くの別問題だったわけ。
ここが今回一番デカい気づきだったさ〜。
自分専用AIを作る3つのアプローチ
調べていく中でよ、「自分専用AI」を作る方法はいくつかあって、大きく分けるとこんな感じだったんだわけ。
① APIベース(いわゆる普通のやつ)
OpenAI(ChatGPT)とかのAPIを使って、自分用のプロンプトをガチガチに固めるやり方。 これの良いところはシンプルで、
- 速い
- 精度高い
- すぐ使える
ただし、最大の問題はここ👇
「学級委員モード」は普通に発動する。
つまり、大元のシステムが検閲してるから、今回の“一番嫌なポイント”は回避できないんだわけよ。
② カスタム環境(Difyなど)
Difyみたいなツールを使って、ワークフローを組んで自分用AIを作る方法。 これは、
- 自動化できる
- ブログ生成とかには最適
なんだけど……思考用途で使うと、だんだん“作業感”が強くなる。 あと、今回オジイがやりたい「多重思考」とかをやろうとすると、クラウド版だと普通に動作が重くなるんよね。
③ ローカルLLM(今回の本命)
で、今回オジイが選んだのがこれ👇
- モデル:Llama 3系
- ツール:Ollama
- 環境:Docker
- フロー:Difyでワークフロー構築
理由はシンプル。「システム側の制限(ガードレール)を外したかったから」。 これなら企業側の倫理フィルターはほぼ無し。偏った思想もOK。思考実験やり放題。 ってことで、理想の環境に一番近いんだわけよ。
[ SYS_LOG ]いざ実証!しかし待ち受けていた罠
今回やったことを簡単にまとめるとこんな感じ。
・ローカルLLMを構築(Llama系)
・Difyで多重思考フローを作成
・3軸(心理・構造・戦略)で同時分析させる
・最終的に統合させる
つまり、
「AIに考えさせる構造」を作った
で、ここからが本題。
今回のオジイのPC構成だとこうなるわけ。
- 端末:MacBook Air(M4 / メモリ16GB)
- モデル:Llama 3系モデル
- 処理:Difyでの多重思考フロー
で、ここで問題が起きる。
「遅すぎる…….」
1回の思考で約7分。
いや、使えんw
でもこれ、よく考えると当然で
・モデルが重い
・思考を何回も回してる
・ツールが間に挟まってる
つまり
「遅くなる構造を自分で作ってる」
ってことに気づいた。
つまり、「重くて遅い処理」を何回もループさせてるから、構造的に激遅になるわけさ。
何事もやってみないとわからんモンだよね。
【実証結果】自由な思考と速度はトレードオフ
じゃあ今回の実証は失敗か? 結論としては、「半分成功、半分失敗」さ。
⭕️ 成功した点(狙い通り)
- 偏った思考はちゃんとできる
- 学級委員モードはほぼ消滅した
- 「そうじゃなくて」とAIを説得する無駄な時間は減った
❌ 失敗した点(ここが致命的)
- 実用速度じゃない(カップラーメンが2個作れる)
- 思考フローの処理がPCに重すぎる
ここで一旦整理すると、「自由な思考」と「実用速度」は現状トレードオフになっているという仮説に行き着くわけよ。
次に向けての仮説と検証予告
ただ、これまだ仮説段階だから、以下をイジればひっくり返る可能性は十分ある。
- モデルの軽量化
- 構成の見直し
- ローカルとAPIとの併用
ってことで次回の実証テーマはこれ👇
「どうすればこのローカル構成を、実用レベルまで高速化できるのか?」
具体的には、
- Difyを外したらどうなるか?
- モデルをもっと軽くしたらどうなるか?
- 思考フローを「1発化」したらどうなるか?
- そもそも作業用に特化したAIとして使ったほうがいいのではないか?
この辺を実験していく予定さ。
「理想のAI」を作ろうとしてるはずが、気づけば「遅すぎるAI」と戦ってる状態なんだけど……これはこれでAIハックの遊びとして面白いから、もう少しトークンと時間を無駄遣いして遊んでみようと思うさ〜!


