インデックスに登録されてないページを Google にクロールしてもらう - サイトマップをテキストファイルで記述し、Dropbox に置く

1. 過去に投稿した記事を更新後、Google のインデックスに再登録したい

Google via kwout

過去に投稿したブログの内容を、修正・更新することがある。場合によっては、内容を分割して、過去の日付で新規投稿を行う。

このとき、しばらく時間が経過しないと、Goolge のインデックスに、修正した内容が登録されない。

Google のインデックスに登録されないと困ることは、書いた記事を探すために、サイト内検索をしてもヒットしないこと。更新したブログの内容は、なるべく早く Google のインデックスに登録してもらいたい。

 

2. ウェブマスターツールでサイトマップを送信

ウェブマスター ツール via kwout

特定のページを Google にクロールしてもらうには、ウェブマスター ツールを使い、サイトマップを送信する。

Google の基本 - ウェブマスター ツール ヘルプ によると、

クロールは、Googlebot が Google のインデックスに追加する、新しいページや更新されたページを検出するプロセスです。 …

クロールを開始する際は、前回のクロールで生成され、ウェブマスターから提供されたサイトマップによって補強された、ウェブページの URL リストを使用します。

サイトマップの作成 - ウェブマスター ツール ヘルプ

Google はさまざまな形式のウェブ上のサイトマップを受け入れていますが、サイトマップ プロトコルに基づいてサイトマップを作成することをおすすめします。そうすることで、作成したファイルを sitemaps.org のメンバーである Bing や Yahoo! など、他の検索エンジンに送信することができます。 …

 

テキストファイルをサイトマップに利用する

サイトマップとして、XML を利用するのが望ましい。しかし、より簡易なテキストファイルによる方法も用意されている。

テキスト ファイル: 基本的なサイトマップ（画像、動画などの特殊なデータはなく、ウェブページの URL のみ含まれるサイトマップ）の場合、1 行につき 1 つの URL を記載したテキスト ファイルを Google に送信できます。次に例を示します:

    http://www.example.com/file1.html
    http://www.example.com/file2.html
    

XML より、テキストファイルで記述した方が、手動による更新が簡単なので、こちらを利用する。

 

3. Dropbox に置いたサイトマップを、ウェブマスターツールに設定する。

Dropbox via kwout

クロールしてもらいたい URL を含む sitemap.txt ファイルを、

• Dropbox の Public フォルダ

に置くことにした。この方法なら、sitemap.txt をアップロードを Dropbox が代行してくれる。自分は、ローカルにある sitemap.txt を更新するだけで良い。

ウェブマスターツールでは、サイトマップが公開されているドメインと、サイトマップが対象としているドメインが異なっていても良い。

複数のサイトのサイトマップ - ウェブマスター ツール ヘルプ によると、

複数のウェブサイトがある場合は、すべてのサイトの URL を含む、1 つまたは複数のサイトマップを作成して単一の場所に保存することにより、サイトマップの作成と送信のプロセスを単純化することができます。サイトマップに記載するサイトはウェブマスター ツール上でサイトの確認が済んでいる必要があります。

例えば、自分の場合、サイトマップを公開するドメインは、

• dl.dropbox.com

で、サイトマップの対象は、

• jutememo.blogspot.com

となる。

 

サイトマップを Dropbox に置く

最初に、sitemap.txt を Dropbox の Public フォルダに置く。その後、

• sitemap.txt ファイルを右クリック > Dropbox > パブリックリンクのコピー

これにより、以下の URL がコピーされる。

http://dl.dropbox.com/u/数字/sitemap.txt

 

Dropbox の Public フォルダをウェブマスターツールに登録

次に、ウェブマスター ツールでサイトを追加する。

「サイトを追加」ボタンを押し、Dropbox の URL である、

http://dl.dropbox.com/u/数字/

を追加。

サイトの所有者の確認は、HTML ファイルをサーバーにアップロードする方法をとる。

これにより、ウェブマスターツールに dl.dropbox.com/u/数字 サイトが追加される。

 

サイトマップを送信

ウェブマスター ツールで dl.dropbox.com/u/数字 サイトを選択した後、左側にある

• メニューより > サイト設定 > サイトマップ

を選択。先ほどコピーした Dropbox のパブリックリンクである、

http://dl.dropbox.com/u/数字/sitemap.txt

をサイトマップとして送信する。

グラフを見ると、送信されたウェブページの数と、インデックスに登録済みの数を確認できる。

ウェブマスターツールでサイトマップを手動で送信すると、何もしない場合よりも、インデックスに反映されるのが早いようだ。