llms.txtは普及しない——robots.txtの成功を読み違えた設計だから

llms.txtが解こうとしている問題

llms.txtは、サイトのルートディレクトリに置くMarkdownファイルだ。LLMがそのサイトを読み込む際に、HTMLのナビゲーションや広告を読み飛ばして、要点だけを効率よく渡せるようにする——というのが提案の趣旨である。robots.txtがクローラに「ここは読んでいい／ダメ」を伝えるように、llms.txtは「このサイトの本質はここに要約してある」と伝える。発想としては筋が通っている。実際、いくつかのドキュメントサイトやツール系のサービスがすでに設置している。

問題は、このファイルを「誰が読むか」だ。robots.txtはクローラ（GooglebotやBingbot）というプログラムが自動で参照する。llms.txtも同様に、LLMやそれを呼び出すエージェントが自動で参照することを期待している。しかし現状、ChatGPTやClaudeがサイトを訪れるとき、llms.txtを律儀に探しにいく保証はどこにもない。仕様はあっても、それを読む側の実装がなければただのファイルだ。

robots.txtが守られたのは善意ではない

robots.txtが30年近く機能してきたのは、検索エンジン側が「行儀よくしたい」と思ったからではない。守らないと困るのは検索エンジン自身だったからだ。

クロール対象のサイトが増え続ける中で、無駄なページを延々とクロールすればサーバー負荷をかけ、アクセス拒否やIPブロックを招く。robots.txtに従えば、サイト運営者との衝突を避けつつ、クロール予算を有効なページに割ける。つまりrobots.txtは「クロールするな」という一方的な命令ではなく、「無駄な争いを避けて双方が得をするための取り決め」だった。Googleが2019年にrobots.txtのパーサーをオープンソース化してIETFに標準化提案したのも、無秩序なクロールが検索エンジン側にとってもコスト増だったからだ。守る側にちゃんと得があった。

llms.txtにはこの構造がない。LLM提供企業がllms.txtを読み込んでも、コストが下がるわけでも品質が上がるわけでもない。むしろHTML全体を読み込んで文脈を独自に解釈する方が、提供企業にとっては都合がいい場合すらある。サイト運営者が「ここを読んでほしい」と書いても、読む側にそれを守る理由が発生しない。約束は片方だけが差し出したものであり、相手はそれを受け取る義務も動機も持たない。

個人サイト運営者が今できること

標準というのは、仕様書がきれいだから広まるのではない。守らないと損をする側が実際に存在するから広まる。robots.txt、sitemap.xml、RSSのいずれも、片方の善意だけに頼っていない。RSSでさえ、リーダー側にはユーザーを集められるという実利があった。llms.txtにはその実利の設計が抜け落ちている。

だからといって、今すぐこのファイルを置く意味がゼロというわけでもない。将来的に一部のエージェントが対応する可能性はあるし、コストはMarkdownファイルを1つ置くだけで済む。ただし過度な期待は禁物だ。個人サイトの運営者にとって現実的な優先順位は、llms.txtの設置より、通常のHTMLを構造化し、見出しと本文の対応を明確にし、誰が読んでも——人間でもクローラでもLLMでも——迷わない文書を書くことである。読む側の動機に依存しない改善は、規格が普及しようがしまいが無駄にならない。

参考にした情報源:

• llms.txt公式提案 https://llmstxt.org/
• Google, robots.txtパーサーのオープンソース化とIETF標準化提案（2019年） https://blog.google/products/search/robotstxt-more-25-years-standard-knowledge-sharing/