水は上から下へと流れていくものです。

新しいサービスやプロダクツの紹介。アイデアメモ。

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

Etagによるスクレーピングの抑制(Perl練習#3)

matomeru.JP」では様々なサイトをスクレーピングさせてもらっており、相手先のサーバに負荷をかけないように、Etagによって更新日時の管理をしてスクレーピングの回数を絞ろうとしています。

が、その組み込みに失敗したため、こんな感じの抜けが出るようになってしまいました。

そこで、泣く泣く更新日時の管理をやめている状況です。はやくちゃんと組み込みなおしたい。。てこずりそうですけど。ちなみに、今後以下のサイトを追加しようかなと思っています。

・TAGGY
・ニフティクリップ
・プックマーク
・FC2ブックマーク
・saaf
・Joltmark
・CoRich
・PingKing
・ROOTACE
・gooソーシャルニュース
・Googleニュース
・goo検索ワード
・Technoratiキーワード
・みんなのトピックス
・NEWZ
・gooラボ
・overchannel
・TechCrunch
・newsvine
・ClipLife
・Googleビデオ
・IFILMS
・STAGE6
・metacafe
・REVVER
・watchme.tv
・FLIPCLIP
・blip.tv
・Dailymotion
・veoh
・GUBA
・BUZZnet
・PeeVee.tv
・vimeo
・VIDEOBOMB
・BREAK
・Yahoo!video
・sevenload
・Zorg
・So-netフォト
・livedoorPICS
・Any
・TagSta
・Buzznet
・Lifeshot

つか、多すぎか。。サイトの量が量だけに、もっと効率的にスクレーピングさせないといけないですね。さすがにやりすぎな気もしますけど。
スポンサーサイト

コメント

コメントの投稿

管理者にだけ表示を許可する

トラックバック

http://yosidayosiwo.blog62.fc2.com/tb.php/92-d1d1ef1b

 | HOME | 

PR



Categories

Monthly

Appendix

yosidayosiwo

yosidayosiwo

大手プロバイダ勤務。インターネット大好き。仕事大好き。

FC2Ad



Tags


ワード

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。