アイドルさんのブログやTwitterをローカルに保存する

背景

非ドルヲタの方々は知らないと思うけど、世の中にはものすごい数のアイドルが存在しており、毎日どこかで誰かが歌って踊って頑張っている。

笑顔と元気を届けてくれるアイドルちゃんたちはみんな成功して欲しいけど、必ずしもそうなるとは限らない。卒業だったり、病気や怪我だったり、大人の事情だったり、理由は様々だけどもアイドルを辞めてしまう子も残念ながら少なからず居る。

で、アイドルとして活動している上でブログを書いていたりTwitterで呟いていたり子も居るわけだけど、その子がアイドルを辞めたあとも残るとは限らない。本人の希望だったり事務所の意向だったりで、アカウントが消されたりするのが普通だと思う。
けど、ファンとしてはその思い出が消えてしまうのは悲しい。大好きなアイドルちゃんと過ごした日々を見返して思い出せるように自分のローカル環境の中にだけでもそれらの情報を保存しておきたい。

結果

…という要望をいただいたので、一応作っておいた。

大抵のアイドルちゃんが使っているのはアメブロなので、そこで"entry-*****.html"なページを順に辿って各エントリーのHTMLをごそっと取得。Nokogiriを使ってスクレイピングし、ブログ内で参照している画像も取得して保存し、パスをそこに向くよう書き換える。記事間のリンクなんかも書き換える。
TwitterAPI経由で取得できるのは3,200件までなので残念ながらそれ以上過去のものは遡れないけど、とりあえず取れるデータはとっておいてローカルで参照できるようにダウンロードする。

これで、オフラインでも好きなあの子のブログやTwitterを読めるようになります。嬉しいですね。