WordPress活用

逆にクロールされたくないパターン

逆に検索エンジンにクロールされたくないパターンも出てくる。「HeadSpace2」でSEO対策をしてたのだが、ウェブマスターツールでいろいろ重複された同ページが出て来た。

ひとつはページアドレスの後尾に「?img=link」がついたページ。調べて見るとこれは携帯表示用プラグイン「Ktai Style」が原因のようだ。

まぁこれを外すという手かファイル修正するという手があるようだけど、ここは「?img=link」が付いたのだけクロールさせない方法を選んでみた。

やり方は、ファイル「robots.txt」を作ってその中に「?img=link」だけクロールしないような指示を書いてFTPでルートディレクトリにアップロード。

User-Agent: *
Disallow: /*?img=link

ウェブマスターツールに認識され1週間以上したらかなりの数に達した。確認はウェブマスターツールの「クロール」→「ブロックされたURL」

Yahooでの解説
サイト単位、ディレクトリ単位での巡回の拒否設定 1

サイト単位、ディレクトリ単位での巡回の拒否設定 2

Google の検索結果に表示されないようにする

googleウェブマスターでの解説
robots.txt を使用して URL をブロックする

モバイルバージョンを終了