【Zendesk】Webクローラーがサイトマップ不要でコンテンツをインデックスできるようになりました

ロールアウト

2026/05/14?2026/05/28

発表内容

Webクローラーに「コンテンツの自動検出機能」が搭載されたことで、より広い範囲のページをクロールできるようになりました。

これまでクロールするには、「sitemap.xml」というファイルの用意が必須であったため、対応していないサイトは、一部のページを読み込めず、インデックスの漏れが発生してしまうことがありました。

今回のアップデートにより、サイトマップへの依存が解消され、より確実で漏れのないクローリングが可能になりました。

主な変更点は以下の2点です。

リンクの自動検出

クローラーを設定する際、Webサイトのホームページなどの「開始URL」を指定するだけで、サイト内のリンクを自動的にたどってコンテンツを見つけ出します。

入れ子構造のサイトマップへの対応

複雑なサイトマップ構造を持つウェブサイト（複数のサイトマップファイルを参照する「サイトマップインデックスファイル」など）の場合、クローラーは自動的に一連のリンクをたどってすべてのコンテンツを検出します。

なお、サイト全体をクロールすることなく、特定のURLのリストをクロールすることも引き続き可能です。

留意点

• トップページから4階層の深さまでのページ、またはサイト全体のクロールが完了するまでクロールされます。
• クローラーがたどるのは、サイトドメイン内のページへのリンクのみであり、外部ページは訪問しません。

準備が必要なこと

自動で適用されるため、特に対応は不要です。