自分のサイトに「AIに学習させていいかどうか」の意思表示、書いてあるかいね。
たぶん、書いてない人のほうが多いと思うのよ。オジイの周りでも、そんな話をしてる人は見たことがない。そもそも、オジイのサイトにもrobots.txtは置いてある。ところが、中身を見てみると、WordPressの管理画面を見せないための設定なんかが書かれているだけで、AIの学習利用については何も指定していなかったわけさ。
で、そこが来年あたりから、ちょっとだけ変わるみたいなの。書き方が決まるのよ。一行でいい。
ただね、書き方が決まるってことはさ、書かない人はどうなっちゃうんだい?って話。今日はそんな話題ね。
断り方の文言が、やっと一種類になるらしい
まず何があったか。
robots.txtで「クロールはOK、でもAIの学習には使わないで」を明示可能に OpenAIやGoogleらという話でね。OpenAI、Google、Microsoftが10月30日に、それぞれ同じ方向で発表した。
robots.txtっていうのは、サイトの中に置いてある、ただのテキストファイルよ。「この部屋は見ていいですよ」「ここは入らんでくださいね」っていうのを、機械向けに書いた貼り紙みたいなもの。検索エンジンがサイトを見に来るときに、まずこれを読むわけ。
で、これまで何が面倒だったかというと、AI各社がそれぞれ別の名前のクローラー(AIの情報収集ロボットね)を出してて、断りたければ会社ごとに個別に書かんといかんかった。相手が増えるたびに貼り紙を足していく感じさ。やってられんわけよ。
今回提案されているのは、AI各社の情報収集ロボットに共通の目印を付けて、まとめて受け入れるか、断るかを指定できる仕組み。サイト全体の情報収集を断ることもできるし、特定のページだけを対象外にすることもできるんよ。この仕組みの案は、Anthropicの担当者が10月30日に公開したもの。インターネットのルールを検討するIETFという団体での議論をもとにした提案だけど、まだ正式に決まったルールではないそうよ。
導入の時期は各社バラバラでね。OpenAIが今後数カ月以内を目指していて、Googleは2027年、Microsoftは2027年2月1日から読み取って適用する、と。だから今すぐ書き換える話じゃない。一年くらい猶予がある。
そして、ここは勘違いしやすいところなんだけど、この設定は「学習に使わないでね」という意向を伝えるものであって、クローラーが来ること自体を止めるものじゃない。アクセスを遮断したいなら、別の設定が要る。あと、企業独自の設定や、個別の契約のほうが優先される場合もあるらしいのよ。
それと、これは参加している会社が守る前提の仕組みでよ。世の中の全部のクローラーがこれに従うわけじゃない。日本でも、robots.txtを無視して集めていくやつがいるという話は前からあるさ。
それでも、一行で言えるようになるのは大きいと思うのよ。これまでは「嫌だけど、どう言えばいいか分からん」だったのが、「言える」になる。言える状態で言わなかったら、当たり前だけど、それは言わなかったことと同じ。そこが変わるところさ。
「じゃあ全部お断りで」が、たぶん一番もったいない
で、ここからが本題ね。
この話を聞いて最初に思うのは、「うちのは勝手に使われたくないから、全部拒否でいいさ」じゃないかね。自分が時間かけて書いたものを、タダで持っていかれて、どこかの答えの材料になって、こっちには一円も入らん。そりゃ気分は良くないさ。
けど、ちょっと待ってほしいのよ。
AIに情報を使われることは、必ずしも損ばかりじゃないわけさ。
例えば、誰かがAIに「沖縄で◯◯をやっているお店は?」と質問したとする。そのとき、AIが自分のサイトを参考にして、お店の名前や情報を回答に載せてくれたらどうね。新しいお客さんに知ってもらうきっかけになるかもしれん。
こういうふうに、AIの回答に自分のサイトや情報を取り上げてもらうための工夫を「AEO」と呼ぶのよ。検索結果で上位を目指すSEOに対して、AIの回答に選ばれることを目指す考え方ね。
実は、同じ記事の後ろのほうに、Microsoftの話として書いてあるのよ。学習とは別に、AIが回答を作るときにWebの情報を参照する「グラウンディング」っていう動きがあって、そっちもページ単位で断れるようにする、と。で、断った場合どうなるかというと、通常のBing検索の掲載資格には影響しないけれど、AIの回答で取り上げられる機会は減る、とはっきり書いてある。
つまり蛇口が複数あるわけさ。
ひとつ目は、検索に出るための蛇口。二つ目は、AIの中身を作るための学習の蛇口。三つ目は、AIがその場で答えを作るときに見に来る参照の蛇口。今回の共通設定が扱うのは主に二つ目で、三つ目はまた別に用意される。
全部まとめて「お断り」の貼り紙を出すと、三つ目まで閉まる可能性がある。三つ目が閉まると、誰かがAIに「沖縄で◯◯やってる店ある?」と聞いたときに、こっちの名前が出てこなくなるかもしれん。
これ、他人事じゃなくてよ。
オジイはこのサイトがAIからどう見えてるかを、たまに測ってるのね。外のAIに「AIオジイLab.とは何ですか」って聞いて、うちのサイトや説明を出してくるかどうか。9月の測定も10月の測定も、答えは「出てこない」。もう意地悪されてるのかってくらい出てこない。むしろ存在せんのと一緒。それが11月1日に測ったら、三つの質問とも、うちのサイトを引いてくるようになってた。
正直うれしかったんだけど、油断はしない。だって、どうして急に出てくるようになったのか、こっちには分からんのよ。学習に入ったのか、その場で検索して拾ってるのか、向こうの仕組みが変わっただけなのか。測っても、AIに聞いても、結果しか分からん。
分からんものを一律で扱うと、信じてた方向に舵を切った時に足をすくわれる。これが怖いところさ。逆に、全部おっ広げが正解かというと、たぶんそれも違う。有料で売ってるテキストとか、お客さんから預かった事例とか、大公開しちゃいかんものは普通にあるしね。
だから、学習させるか・させないかの二択で考えた時点で、これもまた違うってことよね。
初期値を決めた人が、だいたい一番強いのよ
ここで昔の話を一個。
申込みのフォームとか、紙の申込書を作ってたことがあってね。ああいうのには必ず「お知らせメールを受け取る」みたいなチェック欄が付く。で、作る段階で毎回もめるのが、あのチェックを最初からオンにしておくか、オフにしておくかという話よ。
オンにしておけば、受け取りますの人が圧倒的に増える。オフにしておけば、わざわざ押した人しか残らん。中身は一文字も変えてないのに、結果が全然違う。
このとき、何が起きてるかというとね。書類に向かってる人の大半は、そこを見てないのよ。見てないっていうか、判断すらしてない。だから初期設定をした人が実質的にその人の代わりに決めてることになる。
なのでフォームを作るときに、基本お客さんに有利になるように設定をして、それでいいですよね?と相談して決めるようにしてた。大体の場合はおまかせしますでスルーしちゃうような話なんだけど。
で、今回の話よ。
robots.txtに何も書いてない状態っていうのは、初期値のままという状態さ。今までは「書き方が分からんから書けなかった」という言い訳が立った。来年からは、書き方が決まる。決まったあとで何も書いてないのは、「読んでないか、判断してない」のどっちかになっちまう。
ここで、自分が初期値を置かれる側になる。
前にも書いたけど、オジイは昔、人に仕事を渡すときに範囲を決めずに「あとはよろしくね」で渡して、後から「そこまでやると思わんかった」になったことがあってね。あれは受けたほうじゃなくて、任せたほうの落ち度だと今でも思ってるのよ。渡した事実と、どこまで任せたかは別の話で、その違いが問題になるのは必ず事が起きた後さ。
誰も悪くないのよ。AI各社は、少なくともこの件では、断る手段を用意するほうに動いてる。無視して集めていくやつがおるのも事実だけど、仕組みを作ってる側まで悪者にする話じゃない。ただ、手段が用意されたぶん、決める仕事はこっち側で処理する必要があるってだけのこと。
決めるのに要るのは、技術の知識じゃなくて台所事情
じゃあ、何をどう決めればいいか。
ここで「robots.txtの書き方を勉強しましょう」にはならん。一行かけばいいだけだし、仕様が固まったら解説記事が山ほど出る。それをAIに調べさせて設置すりゃ良い。
難しいのは、その手前よ。
自分のサイトに載せてるものって、実は性質がバラバラでよ。集客のために書いてる紹介文。無料で配ってる解説。お客さんの事例。有料で売ってるものの一部。会社の基本情報。どれも同じ「ページ」の顔をしてるけど、使われて困るものと、むしろ使われたいものが混ざってる。
で、どっちに入るかを決めるのに要るのは、技術の話じゃなくて、こっちの台所事情のほうさ。
どこから仕事が来てるのか。紹介がほとんどなのか、検索から来るのか、SNSなのか。来年どっちに増やしたいのか。中身をタダで見せることが仕事につながる商売なのか、中身そのものを売ってる商売なのか。
同じ業種でも、ここは人によって真逆になる。だから、誰かが書いた「おすすめの設定」をコピペしても当たらんのよ。
そしてもう一つ厄介なのが、これを自分ひとりで考えると、だいたい気分で決まる。「なんか嫌だから拒否」か、「めんどくさいから放置」か。どっちも判断じゃなくて反応さ。
手土産|AIに先に決めつけさせて、そこに反論するプロンプト
というわけで、今回の手土産ね。
今回は、AIに自社サイトを見てもらって、どの情報を積極的に見つけてもらいたいか、どこから先は慎重に扱いたいかを仕分けてもらうものにした。
まず、自分のサイトのURLを渡す。AIに実際のページを見てもらって、会社やサービスの紹介、ブログ、実績、有料コンテンツなんかを整理してもらうわけさ。
そのうえで、検索に載せること、AIの学習に使わせること、AIが回答を作るときに参考にさせること。この三つを分けて考える。
ここが大事よ。
例えば、サービスの紹介ページなら、AIに見つけてもらったほうが商売につながるかもしれん。でも、そこで公開している独自のノウハウまで、学習素材として自由に使ってほしいかは別の話さ。
逆に、お客さんから預かった事例や有料で販売している資料なんかは、そもそも外部AIに見せていいものなのか、というところから考えんといかん。
つまり、サイト全部に一枚の貼り紙を出すんじゃなくて、ページごとに扱いを考えてみようということ。
以下、そのままコピペして貼ってみて。
自社サイトのAI公開範囲を仕分けるプロンプト
あなたは、Webサイトの情報公開方針とAI検索対策(AEO)を支援するWeb運用担当者です。 私は自社サイトの情報について、AIにどこまで見せてよいかを整理したいと考えています。 目的は、サイト全体を一律に公開・非公開にすることではありません。 **自社サイトの中で、AIに積極的に見つけてもらいたい情報、学習には使わせたくない情報、外部AIに見せたくない情報を切り分けることです。** 技術に詳しくない人にも分かる言葉で、一つずつ案内してください。 ## 1. サイトの現状を把握する 最初に、私に自社サイトのURLを尋ねてください。 サイトを確認できる場合は、実際のページを調査して、どのような情報が公開されているかを把握してください。 確認する項目は以下です。 - 会社・事業者の基本情報 - 商品・サービスの紹介 - 実績・事例・お客様の声 - ブログ・コラム・ノウハウ - 独自の技術・知識・考え方 - 有料コンテンツ・会員向け情報 - 問い合わせ・予約・申込み関連 - 個人情報や第三者の情報 サイトを直接確認できない場合は、その旨を伝え、必要な情報だけ質問してください。 ## 2. 公開範囲を仕分ける 確認したページや情報を、次の3段階に分類してください。 **A:積極的にAIに見つけてもらいたい** 集客、認知、問い合わせにつながる情報。AIの回答で紹介・引用されることにメリットがあるもの。 **B:公開はするが、AIによる学習や利用は慎重に考えたい** 独自のノウハウ、専門知識、オリジナルコンテンツなど。検索やAIの回答に使われるメリットと、無断で学習素材にされるデメリットを比較するもの。 **C:外部AIに見せたくない** 顧客情報、個人情報、有料コンテンツ、社内資料、契約上の制約がある情報など。 分類の理由も簡潔に説明してください。 なお、公開ページに情報が掲載されていることと、AIに学習・利用させることは別の判断として扱ってください。 ## 3. 3つの利用経路を分けて判断する 分類した情報について、次の3つを個別に判断してください。 1. **検索エンジンへの掲載**:GoogleやBingなどの検索結果に表示させるか。 2. **AIの学習**:AIの知識やモデルを作るための素材として利用させるか。 3. **AIの回答時の参照**:AIが質問に答えるとき、自社サイトの情報を探して参考にさせるか。 それぞれについて、許可・拒否・保留の方針と理由を示してください。 特に、AIの学習を拒否することと、AIの回答時の参照を拒否することを混同しないでください。 ## 4. 見落としているリスクを指摘する 次の点も確認してください。 - 公開している情報の中に、AIに見せるべきでない情報が混在していないか。 - AIに見つけてもらいたい情報が、サイト構造や設定によって見つけにくくなっていないか。 - 有料コンテンツや限定情報が、一般公開ページから閲覧できる状態になっていないか。 - robots.txtだけで制御できると思い込んでいないか。 robots.txtは、情報を見に来るロボットへの意思表示であり、情報そのものを保護するアクセス制限ではありません。非公開にすべき情報は、ログイン制限など別の方法で保護する必要があります。 ## 5. 最終的な仕分け表を作る 調査結果を次の形式でまとめてください。 | ページ・情報の種類 | 検索掲載 | AI学習 | AI回答時の参照 | 判断理由 | |---|---|---|---|---| | サービス紹介 | 許可 | 許可 | 許可 | 集客につなげたい | | 独自ノウハウ | 許可 | 保留 | 許可 | 知名度向上と知的資産の保護 | | 顧客情報 | 拒否 | 拒否 | 拒否 | 情報保護が必要 | ※これは記入例です。実際のサイトを確認したうえで判断してください。 最後に、次の3つを整理してください。 - 今すぐ見直したほうがよいページや設定 - 今後の仕様確定を待って判断するもの - 制作会社やサーバー管理会社に依頼する必要があるもの ## 判断するときのルール - サイトを確認せず、一般論だけで結論を出さない。 - 私が答えていない情報を推測で補わない。 - 判断材料が不足している場合は保留にする。 - AIに見つけてもらうメリットと、情報を利用されるデメリットの両方を考える。 - すべてを許可・拒否するような一律の結論にしない。 - 未確定の技術仕様を確定事項として扱わない。 - 法律上の権利関係について断定しない。 最終的な目的は、**自社サイトのどの情報を、誰に、どこまで公開するのかを判断できる状態にすること**です。 まずはサイトのURLを聞くところから始めてください。
使うときのコツを三つ。
ひとつ目。まずは自分のサイトのURLを渡してみること。AIが実際に見られるページと、見られないページがあるから、最初の調査結果を鵜呑みにせず、抜けているページがないか確認するといいさ。
ふたつ目。分類された結果を見て、「いや、これは違う」と思ったら遠慮なく訂正して。例えば、独自ノウハウは学習されたくないけど、AIの回答で紹介されるのは歓迎、という判断もある。ここを自分の商売に合わせて調整するのが大事よ。
みっつ目。出てきた結果を、そのままrobots.txtに書き込まないこと。これはあくまで公開方針を整理するためのもの。実際にどの設定で実現できるかは、各社の対応や仕様が固まってから確認すればいい。
あと、これは念のためだけど、今日robots.txtをいじる必要はないのよ。共通設定が効き始めるのは早くて数カ月後、本番は来年さ。今やるのは、決めておくことだけ。
自分が置いてる初期値は、何になってるかね
前にも書いたけど、この前のPHPの騒ぎのときは、夜の数時間で判断せんといかん話だった。慌ててサーバーの管理画面を探して、見る場所を間違えて、血の気が引いて、というのを一通りやったさ。
今回はそれと逆で、一年くらい時間がある。時間があるときに決めたことは、慌てて決めたことより、だいたいマシ。。。なんだけどきっと決めたことも忘れてる(笑)
で、最後に一つだけ。
普段お客さんに渡してる見積書とか、申込書とか、メニュー表。あれ、相手が何も言わんかったときに何が選ばれるようになってるかね。オプションは付いてる前提か、外れてる前提か。保守は継続が初期値か、終了が初期値か。面倒くさがって何も言わんかった人が、気づいたら高い方や営業メールが届き続ける方を選んだことになってないかね。
そこ、当たり前だけど相手が決めてるように誘導してるだけなんよね。商魂たくましく意識的にやってるところも多い(ネット通販の某サービスとか、営業メールを受け取るチェックが入った状態になってるし)と思うんだけど、入力する側はむしろ、何となく「次へ」を押してることのほうが多いと思う。
AIに自分のものを使わせるかどうかの貼り紙は、一行で済む。でも、その一行を決めるのに必要なのは、自分が「どうやって食えているのか」を自分で分かってることで、そっちは一行では済まんさ。
だから、今のうちに一度、自分のサイトの中身を見直しておくのもいいかもしれないさ。
ついでに、自分が人に渡してる書類やフォームの初期値も、一回見直してみるといいかもね。
オジイも見てくる。見るのはチェックを外し忘れた営業メールの整理と登録の解除、たぶん直す気力が出なくて寝るはず。


