IT 小ネタ

2015年06月10日

DotBot という crawler からのアクセス。

見慣れないクローラです。

スパイダー

英語のサイトしかヒットしなくて苦戦しましたが、なんとなく分かったこととしては、「クロールして公開して、インターネットをよりオープンにするぜ」みたいな志のロボットのようです。

Open Site Explorer
moz.com

巨大企業に挑戦するベンチャー企業みたいなところでしょうか。

とりあえず今のところは迷惑するほどのアクセスには至っていないので野放しにしておきます。

遮断するなら robot.txt を以下のように。

User-Agent: dotbot
Disallow: /

同じカテゴリー（IT 小ネタ）の記事

ドメイン名の運営権利を落札したら。。。(2016-01-28 18:00)

日本語対応の Web フォント、Google Fonts の Noto Sans Japanese を入れてみた。(2015-11-27 18:00)

count.jsoon の利用登録が完了したのでツイート数が取得できるのか試してみた。(2015-11-25 18:00)

count.json でツイート数の取得ができなくなったので count.jsoon を登録してみた。(2015-11-24 18:00)

ターミナルエミュレータの font をゆたぽんに変えてみた。(2015-10-30 18:00)

Google Chrome を更新したら https のページに安全でないコンテンツが混在している時の警告が変わってた。(2015-10-16 18:00)

【count.json】Twitter のツイート数は 2015 年 11 月 20 日には完全に取得できなくなるらしい(2015-10-07 18:00)

【count.json】Twitter のツイート数取得ができなくなってブラウザが読込中のまま進まなくなった。(2015-09-29 18:00)

gTLD に会社名を使うという選択肢。(2015-09-14 18:00)

Google による世界支配計画。(2015-09-09 18:00)

クラウドサーバへのバックアップはコピーでなくてムーヴするスマホ(2015-09-07 18:00)

iOS をジュエルブレイクしたところ、マルウェアがやってきたらしい。(2015-09-03 18:00)

本日から Yahoo! 検索が SSL 化するらしいのです。(2015-08-18 18:00)

Scrapy というクローラ。(2015-08-04 18:00)

OS のアップデートに関する議論。(2015-07-28 18:00)

.com や .net 等のオールドスタイルの TLD と、新しい TLD でインデックス登録は変わるのか。(2015-07-24 18:00)

.vn ドメインの有効期限を取得するためにはどうすればよいか。(2015-07-06 18:00)

Safari の追い上げと IE の衰退。Google Chrome に伸びしろはあるのか。(2015-07-03 18:00)

"匿名ドメイン登録" とは "whois プロテクト" のことなのか。(2015-07-01 18:00)

コメント: 0

名前:
メール:
URL:
情報を記憶:
コメント:	上の画像に書かれている文字を入力して下さい
	＜ご注意＞書き込まれた内容は公開され、ブログの持ち主だけが削除できます。確認せずに書込