bitlyにドメインをブロックされてから解除されるまでの記録

bitlyは、長いURLに対して「bit.ly/XXXXXX」のような短いURL（短縮URL）を割り当て、短いURLから長いURLへ転送してくれるサービスです。

今回、bitlyで作成したdid2memo.netの短縮URLにアクセスすると、次のスパムブロックページに転送される状態になってしまいました。

（知らせてくださった@pochi_pさんありがとうございます）

STOP - there might be a problem with the requested link

The link you requested has been identified by bitly as being potentially problematic. This could be because a bitly user has reported a problem, a black-list service reported a problem, because the link has been shortened more than once, or because we have detected potentially malicious content. This may be aproblem because:

• Some URL-shorteners re-use their links, so bitly can't guarantee the validity of this link.
• Some URL-shorteners allow their links to be edited, so bitly can't tell where this link will lead you.
• Spam and malware is very often propagated by exploiting these loopholes, neither of which bitly allows for.

The link you requested may contain inappropriate content, or even spam or malicious code that could be downloaded to your computer without your consent, or may be a forgery of imitation of another website, designed to downloaded to your computer without your consent, or may be a forgery or imitation of another website, designed to trick user into sharing personal or financial information.

bitly sugtgests that you

• Change the original link, and re-shorten with bitly
• Close your browser window
• Notify the sender of the URL

Or, continue at your own risk to

You can learn more about harmful content at www.StopBadware.org
You can find out more about phishing from www.antiphishing.org
For more information to report a false positive please contact support...

さて、これは一大事なわけで、まずいろいろと確認してみました。

• 特定の短縮URLのみではなく、ドメイン全体がブロックされている
• 新しく作成した短縮URLも同様にブロックされる
• 以外とこのページ経由でブログを見に来てくれる人が多かった（ほとんど引き返すかと思った）

また、bitlyの解析ページ（短縮URLの最後に「+」を付ける）には、「Uh oh! This link has been flagged as potentially problematic!」

このブロックページにある問い合わせ先に、「このスパム判定はfalse positiveである」としてメールを送ってみることにしました。

送信内容（2012-10-11 22:10）

問い合わせメールアドレスのリンクをクリックすると、「More information on http://bit.ly/123456」 as spam」が本文に設定されるようになっていたので、まずこれを１行目にしました（自動的にスパムメールを判定するためにこれを利用している可能性があったので）。

そして、その続きに「私のwebsite did2memo.netへのリンクがSTOP pageに転送されるのですが、これはfalse positiveだと思います。情報ください、何すればいいですか？」のようなメール（英語）を送信しました。

返信内容（2012-10-11 23:41）

送信からおよそ１時間半後、返信が届きました。かなり対応が素早い印象でした（自動返信かどうかは区別が付きませんでした）。

本文には、「あなたのURLが、email spammerを追跡する団体であるSpamhaus.orgによってブロックされています」「Spamhausは間違えてブロックしてしまうことがありますが、これに従わないと我々bitlyもリストに追加されてしまうので、仕方ありません」「何かあったらまたメールしてください」という内容が記述されていました。

ここで初めてSpamhausという団体を知ったのですが、スパムに関連するURL/IPを自動的に収集・公開しており、誤登録されることも多いということがわかりました。また、「報復」という仕組みがあり、スパムブロックに協力的でない場合、その団体もスパムリストに登録するようなのです。このことから、bitlyはSpamhausのデータベースをそのまま利用するしかないようです。

ようするに、明記はされていませんでしたが、「俺たちにはどうにもできないから、自分でSpamhausと掛け合って解除してもらえ」ということのようでした。

というわけで、Spamhausに登録を解除してもらいました。この手順についてはリンク先の記事をご覧ください。

Spamhaus曰く、30分以内にリストは世界中で同期される、とのことだったので、しばらく待てばbitlyのスパム判定も解除されるかも、と一瞬思いましたが、そんなこと関係なく問い合わせてみようと考えました。最終的に分かることですが、おそらく一度スパム判定されると、Spamhaus上で解除されても、bitly側のspam判定が自動解除されることはなさそうです。

というわけで、Spamhausに解除してもらった旨を伝えることにしました。

送信内容（2012-10-12 03:52）

今回はとりあえずお礼を言って（この時点で私の機嫌は良かった）から、「Spamhausのブロックリスト解除の手続きを終えて、bitlyが更新されるのを待っています。確認していただけますか」と送信してみました。

返信が来ない！

待っても待っても返信が来ませんでした。当然、スパム判定も解除されません。

というわけで、送信のおよそ１９時間後、催促のメールを送信することにしました。

送信内容（2012-10-12 22:48）

今回は「More information on http://bit.ly/123456 as spam」という１行目を復活させ、「bitlyの状態が未だに更新されないのですが、どれくらい待てばいいのでしょうか？」と送信しました。

返信が来ない！（２回目）

またまたいくら待っても返信が来ませんでした。今度は３日も待ちました。

これはどうしたものか。何度も催促メールを送るのも良くないと思いつつ、催促メールを送るしかないと思い、別のメールアドレス（did2memo.netのメールアドレス、今回の一件のために作った）から、メールを送信してみることにしました。

送信内容（2012-10-16 01-21）

今回は少し長めのメールにしました。

• 「私はdid2memo.netの管理者で、日本語のブログを書いています」
• 「短縮リンクがブロックされてしまう状態がまだ直りません e.g. bit.ly/123456」
• 「５日前にfalse positiveであると問い合わせたら、こんなメール（１つ目のメールに対する返信を引用）が届きました」
• 「そこでSpamhausのブロックリストからの解除を行い、既にブロックリスト（DBL）から削除されています」
• 「メール送ったのに返信来ないし、まだスパム扱いされてる」
• 「こういう理由でメールしました」
• 「確認してください、そして早く解除してもらえませんか？」

これに対する返信が驚くべきものでした

返信内容（2012-10-16 01:43）

たったの20分で返信が届き、期待しました。期待した私が馬鹿だったのか、こんなメールが届きました。

Thanks for reaching out! We take spam seriously at bitly and appreciate your report. We've blocked this link in our system.

Thanks and all the best.

ようするに、「そのリンクはブロックしておいたよ」と書いてあるのです。スパム報告したんじゃないぞ！

おそらく、メール本文中にあったbitlyのURLを自動検出して、スパム報告であると勝手に判断し、自動的にブロックし、自動的にメールに返信していたようなのです。

少なくともSpamhausをチェックすることなく（この時点でSpamhausに登録されていればまだしも）、本文をろくに確認せずにbitlyがブロックを行っていることがわかります。もう一つ言っておくと、スパム報告用のメールアドレスは別にあります（abuse@~）。

というわけで、いらいらしつつも、次のメールを送信して寝ました。

送信内容

今度はあっさりと、「これは自動返信なんですか？スパム報告したわけじゃない。本文ちゃんと読んでください」と送信しました。

やっぱり返信来ない！（３回目）

やっぱり返信は来ませんでした。

というわけでかなり困ってしまったわけですが、自動返信されてしまうことが問題なのです。そして、返信がないのも、メールが読まれていないからなわけです。

どうすれば読んでもらえるのかと考えたとき、「twitterアカウントにメンションするか…」と考えました。

こんなメンションを送信しました。

@bitly Where Should I e-mail to report a false positive of site blocking? I sent to support at bitly. com, I got reply like auto-answer.

— did2さん (@did2memo) 10月 15, 2012

@bitly the reply says "...appreciate your report. We've blocked this link in our system". I reported not spam site but also

— did2さん (@did2memo) 10月 15, 2012

@bitly a false positive of site blocking! the site is did2memo. net.

— did2さん (@did2memo) 10月 15, 2012

「スパム判定のfalse positiveをどのメールアドレスに報告すればいいのでしょうか（実際に問い合わせ受付は複数存在）」「support at bitlyにメールしたら自動返信っぽいメールが来て、ブロックしましたとか言われました」「スパム報告したんじゃなくてfalse positiveの報告をしたんですけど！」「あ、URLはdid2memo.netです」

送信してから１時間経たないうちに返信が来ました。

@did2memo Hi! So sorry about that. That was in error. We've unblocked your domain in our system.

— bitlyさん (@bitly) 10月 16, 2012

この返信を受け取った直後、すでにスパム登録は解除されていました。ここまで一週間弱かかってしまいました。本当に長かったです。

@bitly Thanks for your quick and proper adjustment!

— did2さん (@did2memo) 10月 16, 2012

もしbitlyにスパム判定されたら、とりあえずSpamhausに登録されていないかを確認して、先回りブロックリストからドメインを削除しておき、そうしてから問い合わせれば、もっと素早く対応してもらえた、１通目のメールだけで完全にfalse positiveとして扱ってもらえたのではないかと思いました。今回はSpamhausの存在を知らなかったので仕方有りませんが。

また、返信が来なかった場合などは、twitterの@bitlyにメンションを送ると素早く解決してもらえそうです。メンションのやりとりをかなり頻繁に行っているアカウントのようですので。

• Sophos
• Websense
• VeriSign
• PhishTank
• Google Safe Browsing

• 参考：bitly | ♥ your bitmarks

• Bitly False Positives
• False positive on bit.ly - BadwareBusters
• ☆ Bitly and Spam Links « Wild Webmink