逆にクロールされたくないパターン

11年前

逆に検索エンジンにクロールされたくないパターンも出てくる。「HeadSpace2」でSEO対策をしてたのだが、ウェブマスターツールでいろいろ重複された同ページが出て来た。

ひとつはページアドレスの後尾に「?img=link」がついたページ。調べて見るとこれは携帯表示用プラグイン「Ktai Style」が原因のようだ。

まぁこれを外すという手かファイル修正するという手があるようだけど、ここは「?img=link」が付いたのだけクロールさせない方法を選んでみた。

やり方は、ファイル「robots.txt」を作ってその中に「?img=link」だけクロールしないような指示を書いてFTPでルートディレクトリにアップロード。

User-Agent: *
Disallow: /*?img=link

ウェブマスターツールに認識され1週間以上したらかなりの数に達した。確認はウェブマスターツールの「クロール」→「ブロックされたURL」