情報科学屋さんを目指す人のメモ

方法・手順・解説を書き残すブログ。私と同じことを繰り返さずに済むように。

bitlyにドメインをブロックされてから解除されるまでの記録

bitly (1) Spamhaus (3) Twitter (173) スパム (20)

今から1週間ほど前、このブログのドメインがbitlyからブロックされました。最終的にブロックはfalse positive(本当はスパムじゃないのにスパム判定しちゃった)として解除してもらいましたが、解除までが長かったので、今後ブロックされてしまった人の参考になるように、解除に至るまでの流れを記録しておこうと思います。

bitlyにブロックされた

bitlyは、長いURLに対して「bit.ly/XXXXXX」のような短いURL(短縮URL)を割り当て、短いURLから長いURLへ転送してくれるサービスです。

今回、bitlyで作成したdid2memo.netの短縮URLにアクセスすると、次のスパムブロックページに転送される状態になってしまいました

(知らせてくださった@pochi_pさんありがとうございます)

STOP - there might be a problem with the requested link

The link you requested has been identified by bitly as being potentially problematic. This could be because a bitly user has reported a problem, a black-list service reported a problem, because the link has been shortened more than once, or because we have detected potentially malicious content. This may be aproblem because:

  • Some URL-shorteners re-use their links, so bitly can't guarantee the validity of this link.
  • Some URL-shorteners allow their links to be edited, so bitly can't tell where this link will lead you.
  • Spam and malware is very often propagated by exploiting these loopholes, neither of which bitly allows for.

The link you requested may contain inappropriate content, or even spam or malicious code that could be downloaded to your computer without your consent, or may be a forgery of imitation of another website, designed to downloaded to your computer without your consent, or may be a forgery or imitation of another website, designed to trick user into sharing personal or financial information.

bitly sugtgests that you

  • Change the original link, and re-shorten with bitly
  • Close your browser window
  • Notify the sender of the URL

Or, continue at your own risk to

You can learn more about harmful content at www.StopBadware.org
You can find out more about phishing from www.antiphishing.org
For more information to report a false positive please contact support...

さて、これは一大事なわけで、まずいろいろと確認してみました。

  • 特定の短縮URLのみではなく、ドメイン全体がブロックされている
  • 新しく作成した短縮URLも同様にブロックされる
  • 以外とこのページ経由でブログを見に来てくれる人が多かった(ほとんど引き返すかと思った)

また、bitlyの解析ページ(短縮URLの最後に「+」を付ける)には、「Uh oh! This link has been flagged as potentially problematic!」

メールを送る(1回目)

このブロックページにある問い合わせ先に、「このスパム判定はfalse positiveである」としてメールを送ってみることにしました。

送信内容(2012-10-11 22:10)

問い合わせメールアドレスのリンクをクリックすると、「More information on http://bit.ly/123456」 as spam」が本文に設定されるようになっていたので、まずこれを1行目にしました(自動的にスパムメールを判定するためにこれを利用している可能性があったので)。

そして、その続きに「私のwebsite did2memo.netへのリンクがSTOP pageに転送されるのですが、これはfalse positiveだと思います。情報ください、何すればいいですか?」のようなメール(英語)を送信しました。

返信内容(2012-10-11 23:41)

送信からおよそ1時間半後、返信が届きました。かなり対応が素早い印象でした(自動返信かどうかは区別が付きませんでした)

本文には、「あなたのURLが、email spammerを追跡する団体であるSpamhaus.orgによってブロックされています」「Spamhausは間違えてブロックしてしまうことがありますが、これに従わないと我々bitlyもリストに追加されてしまうので、仕方ありません」「何かあったらまたメールしてください」という内容が記述されていました。

ここで初めてSpamhausという団体を知ったのですが、スパムに関連するURL/IPを自動的に収集・公開しており、誤登録されることも多いということがわかりました。また、「報復」という仕組みがあり、スパムブロックに協力的でない場合、その団体もスパムリストに登録するようなのです。このことから、bitlyはSpamhausのデータベースをそのまま利用するしかないようです。

ようするに、明記はされていませんでしたが、「俺たちにはどうにもできないから、自分でSpamhausと掛け合って解除してもらえ」ということのようでした。

Spamhaus.orgに解除してもらう

というわけで、Spamhausに登録を解除してもらいました。この手順についてはリンク先の記事をご覧ください。

bitlyに反映されない

Spamhaus曰く、30分以内にリストは世界中で同期される、とのことだったので、しばらく待てばbitlyのスパム判定も解除されるかも、と一瞬思いましたが、そんなこと関係なく問い合わせてみようと考えました。最終的に分かることですが、おそらく一度スパム判定されると、Spamhaus上で解除されても、bitly側のspam判定が自動解除されることはなさそうです

メール送信(2回目)

というわけで、Spamhausに解除してもらった旨を伝えることにしました。

送信内容(2012-10-12 03:52)

今回はとりあえずお礼を言って(この時点で私の機嫌は良かった)から、「Spamhausのブロックリスト解除の手続きを終えて、bitlyが更新されるのを待っています。確認していただけますか」と送信してみました。

返信が来ない!

待っても待っても返信が来ませんでした。当然、スパム判定も解除されません

メール送信(3回目)

というわけで、送信のおよそ19時間後、催促のメールを送信することにしました。

送信内容(2012-10-12 22:48)

今回は「More information on http://bit.ly/123456 as spam」という1行目を復活させ、「bitlyの状態が未だに更新されないのですが、どれくらい待てばいいのでしょうか?」と送信しました。

返信が来ない!(2回目)

またまたいくら待っても返信が来ませんでした。今度は3日も待ちました

メール送信(4回目)

これはどうしたものか。何度も催促メールを送るのも良くないと思いつつ、催促メールを送るしかないと思い、別のメールアドレス(did2memo.netのメールアドレス、今回の一件のために作った)から、メールを送信してみることにしました。

送信内容(2012-10-16 01-21)

今回は少し長めのメールにしました。

  • 「私はdid2memo.netの管理者で、日本語のブログを書いています」
  • 「短縮リンクがブロックされてしまう状態がまだ直りません e.g. bit.ly/123456
  • 「5日前にfalse positiveであると問い合わせたら、こんなメール(1つ目のメールに対する返信を引用)が届きました」
  • 「そこでSpamhausのブロックリストからの解除を行い、既にブロックリスト(DBL)から削除されています」
  • 「メール送ったのに返信来ないし、まだスパム扱いされてる」
  • 「こういう理由でメールしました」
  • 「確認してください、そして早く解除してもらえませんか?」

これに対する返信が驚くべきものでした

返信内容(2012-10-16 01:43)

たったの20分で返信が届き、期待しました期待した私が馬鹿だったのか、こんなメールが届きました

驚きの自動返信

Thanks for reaching out! We take spam seriously at bitly and appreciate your report. We've blocked this link in our system.

Thanks and all the best.

ようするに、「そのリンクはブロックしておいたよ」と書いてあるのです。スパム報告したんじゃないぞ!

おそらく、メール本文中にあったbitlyのURLを自動検出して、スパム報告であると勝手に判断し、自動的にブロックし、自動的にメールに返信していたようなのです。

少なくともSpamhausをチェックすることなく(この時点でSpamhausに登録されていればまだしも)、本文をろくに確認せずにbitlyがブロックを行っていることがわかります。もう一つ言っておくと、スパム報告用のメールアドレスは別にあります(abuse@~)。

メール送信(5回目)

というわけで、いらいらしつつも、次のメールを送信して寝ました。

送信内容

今度はあっさりと、「これは自動返信なんですか?スパム報告したわけじゃない。本文ちゃんと読んでください」と送信しました。

やっぱり返信来ない!(3回目)

やっぱり返信は来ませんでした。

どうすれば問い合わせ内容を読んでもらえるのか

というわけでかなり困ってしまったわけですが、自動返信されてしまうことが問題なのです。そして、返信がないのも、メールが読まれていないからなわけです。

どうすれば読んでもらえるのかと考えたとき、「twitterアカウントにメンションするか…」と考えました。

bitlyのtwitter公式アカウントに問い合わせ

こんなメンションを送信しました。

「スパム判定のfalse positiveをどのメールアドレスに報告すればいいのでしょうか(実際に問い合わせ受付は複数存在)」「support at bitlyにメールしたら自動返信っぽいメールが来て、ブロックしましたとか言われました」「スパム報告したんじゃなくてfalse positiveの報告をしたんですけど!」「あ、URLはdid2memo.netです」

公式アカウントからのreply

送信してから1時間経たないうちに返信が来ました。

この返信を受け取った直後、すでにスパム登録は解除されていました。ここまで一週間弱かかってしまいました。本当に長かったです。

教訓

もしbitlyにスパム判定されたら、とりあえずSpamhausに登録されていないかを確認して、先回りブロックリストからドメインを削除しておき、そうしてから問い合わせれば、もっと素早く対応してもらえた、1通目のメールだけで完全にfalse positiveとして扱ってもらえたのではないかと思いました。今回はSpamhausの存在を知らなかったので仕方有りませんが。

また、返信が来なかった場合などは、twitterの@bitlyにメンションを送ると素早く解決してもらえそうです。メンションのやりとりをかなり頻繁に行っているアカウントのようですので。

参考:bitlyが利用しているスパムブロックのためのサービス

  • Sophos
  • Websense
  • VeriSign
  • PhishTank
  • Google Safe Browsing

参考:bitlyのスパム判定におけるfalse positiveについて

コメント(0)

新しいコメントを投稿