LLtune のサイト確認ボットについて
LLtune は、AI の回答であなたのサイトがどう紹介されているかを測り、対策を示すサービスです。サイトの運営者から依頼を受けたとき、 そのサイトの公開ページを読みに来ることがあります。運営は Masmarl(株式会社山愛)です。
User-Agent
LLtune/0.1 (+https://lltune.com/bot)
読むもの・読み方
- 誰でも見られる公開ページを GET で読むだけです。フォームの送信・ログイン・書き込みはしません。
- トップページ、robots.txt、sitemap(最大3ファイル)、llms.txt を読み、そこからたどれる同じサイトのページを、 トップを含めて最大30ページまで読みます。1回の確認は5分で打ち切ります。
- 同じホストへの要求は1本ずつ、1秒以上あけて送ります。
- AI の回答が出典として挙げた第三者のページを、確認のために最大20ページ読むことがあります(運営側がその確認を指定したときだけ。同じ User-Agent で、そのサイトの robots.txt に従います)。
AI 検索・クローラーを名乗る要求について
サイトがそれらを遮っていないかを確かめるため、トップページ1ページに限り、Googlebot・OAI-SearchBot・GPTBotの User-Agent を名乗る要求を各1回ずつ送ります。 これらの要求は LLtune が送るもので、各社が送っているものではありません。通常の User-Agent の要求が正常に返らないときは、送りません。 robots.txt の Google-Extended は設定の読み取りだけで、その名前を名乗る要求は送りません。
robots.txt
- 読むページは、robots.txt の
User-agent: LLtuneの規則に従います(その記載が無ければUser-agent: *)。 例えばUser-agent: LLtuneとDisallow: /を書くと、そのサイトのページは読みません。 - robots.txt が取得できない(5xx・通信エラー)ときは、全面禁止として扱い、ページを読みません。404 などの 4xx は制限なしとして扱います。
- 転送された先のパスも同じ規則で確かめます。
- robots.txt 自体、sitemap、llms.txt の取得は、規則の照合なしで行います。AI クローラーを名乗る要求は、上のとおり遮られているかを確かめるのが目的なので、その規則の対象にしません。
いつ来るか
サイトの確認は、LLtune の運営側が、依頼を受けたサイトに対して実行したときだけ行います。定期的に巡回する仕組みはありません。 週次の自動計測は AI への質問だけを行い、サイトには接続しません。
やめてほしいとき
上の robots.txt の書き方で止められます。また、support@lltune.com にドメインを添えてご連絡ください。確認のうえ、対応します。