DotBot という crawler からのアクセス。

chinji

2015年06月10日 18:00





見慣れないクローラです。



英語のサイトしかヒットしなくて苦戦しましたが、なんとなく分かったこととしては、「クロールして公開して、インターネットをよりオープンにするぜ」みたいな志のロボットのようです。

Open Site Explorer
moz.com

巨大企業に挑戦するベンチャー企業みたいなところでしょうか。



とりあえず今のところは迷惑するほどのアクセスには至っていないので野放しにしておきます。

遮断するなら robot.txt を以下のように。

User-Agent: dotbot
Disallow: /
関連記事
ドメイン名の運営権利を落札したら。。。
日本語対応の Web フォント、Google Fonts の Noto Sans Japanese を入れてみた。
count.jsoon の利用登録が完了したのでツイート数が取得できるのか試してみた。
count.json でツイート数の取得ができなくなったので count.jsoon を登録してみた。
ターミナルエミュレータの font を ゆたぽん に変えてみた。
Google Chrome を更新したら https のページに安全でないコンテンツが混在している時の警告が変わってた。
【count.json】Twitter のツイート数は 2015 年 11 月 20 日には完全に取得できなくなるらしい
【count.json】Twitter のツイート数取得ができなくなってブラウザが読込中のまま進まなくなった。
WordPress は常に最新版を適用しないといけないという、手のかかりよう。
gTLD に会社名を使うという選択肢。
Google による世界支配計画。
クラウドサーバへのバックアップはコピーでなくてムーヴするスマホ
iOS をジュエルブレイクしたところ、マルウェアがやってきたらしい。
本日から Yahoo! 検索が SSL 化するらしいのです。
Scrapy というクローラ。
OS のアップデートに関する議論。
.com や .net 等のオールドスタイルの TLD と、新しい TLD でインデックス登録は変わるのか。
.vn ドメインの有効期限を取得するためにはどうすればよいか。
Safari の追い上げと IE の衰退。Google Chrome に伸びしろはあるのか。
"匿名ドメイン登録" とは "whois プロテクト" のことなのか。
プライバシーを守る。DuckDuckGo という検索エンジン