カウンターと検索ロボット
僕はこの1年、どうして三つともダウンロードするのだろう、と疑問に思っていた。
2005年の12月から僕が作ったささやかなCGIスクリプトを公開しているが、ダウンロード用の圧縮ファイルは環境に応じて選択できるよう「.sit」「.lzh」「.zip」の三つを用意している。そしてこれにはダウンロードカウンターがセットしてある。ところが不思議なことに、どのタイプも比較的まんべんなくカウントが上がっていたのだ。
先日も新しいスクリプトを公開したが、これもいきなりダウンロードカウンターが3件増えた。しかしアクセス解析を見ると、通常なら必ず通るはずの上部階層のページにアクセスの記録がなかった。公開直後で直リンクなど考えられないので、それを見てやっと気がついた。もしかしてこれは、検索ロボットの仕業ではないのか、と。
いわゆるカウンターは、アクセスカウンターとダウンロードカウンターに大別されると思う。
アクセスカウンターは、Webページへのアクセス数をカウントするものだ。Webページにアクセスがあると、そこに仕込まれたカウンター用のスクリプトが起動して累計カウント数を表示する。ブラウザに表示する際に自動アクセスする（ブラウザ等の設定にもよるが）、たとえばSSIとかJavaScriptとかイメージファイルなどにスクリプトへのリンクを仕込んでおくと、アクセスによってスクリプトが自動起動する、という仕掛けだ。
ダウンロードカウンターは、リンクファイルのダウンロード数をカウントするもの。クリックによってカウントされるので、クリックカウンターとも言える。リンクは通常、リンク先ページへのパスやURLをリンクタグで指定するが、その代わりにカウンタースクリプトにリンクし、リンク先ページはそのスクリプトにセットする。これにより、クリックされるとスクリプトが起動して、カウントを記録した上でリンクページにジャンプする、という仕組みになっている。
さて、検索ロボットはブラウザではない。HTMLファイルのテキストデータを収集しているのだと思う。したがって検索ロボットがアクセスしても、アクセスカウンターは起動しない。同様の仕掛けになっているアクセス解析なら、これも起動しない。
また検索ロボットは、いくつかの階層のリンクをたどるのだという。テキストファイルにリンクタグがあると、そこにセットされたパスやURLを読み込んでその先にアクセスするらしい。ということは、リンク先にダウンロードカウンターがあると、これは起動することになる。
おそらくこれが、上部階層ページにアクセスの跡を残さずに圧縮ファイルを三つともダウンロードしていた理由だろうと思う。
そこでネットでいろいろ調べ、ダウンロードリンクをセットしてあるページに、次のようなMETAタグを仕込んでみた。
<META NAME="robots" CONTENT="index,nofollow">
これは「このページを検索データに加えるのはいいけれども、リンク先はダメだよ」というロボットへのメッセージだ。
しばらく様子を見ているところだが、これ以後ダウンロードカウントがパタリと止まった。はは、はははは……。
|