書いてなかったので書いておきます。意外と簡単です。(多分Linuxなどでも動くと思います。)
この方法でアルバムのデータ(6600枚×2)を全てダウンロードし、移行を行いました。
1.マイフォトの「atom.xml」から全HTMLを抽出
2.抽出した全HTMLからそのHTMLに含まれる画像リンクを抽出
3.画像データのダウンロード
ブログ全体から画像データを抽出する方法は、「Mac/ブログ移行の際、画像データを確実にダウンロードするには。 」にまとめてます。
この方法でアルバムのデータ(6600枚×2)を全てダウンロードし、移行を行いました。
1.マイフォトの「atom.xml」から全HTMLを抽出
ココログのマイフォトの「atom.xml」には全HTMLのURLが(現在は)含まれているのでこれを使います。なければ、インデックスページかサイドバーのインデックスでもいいと思います。
太字の部分は、アルバムのURLです。
太字の部分は、アルバムのURLです。
| curl -o temp1 -O http://avalon1982.cocolog-nifty.com/photos/vq1050/atom.xml ; grep html temp1 > temp2 curl -o temp1 -O http://avalon1982.cocolog-nifty.com/photos/vq1050_2/atom.xml ; grep html temp1 >> temp2 : (ダウンロードするアルバムを任意に) sed 's/[><)(;=&\"]/ /g' temp2 | awk -v s=http: '{for(i=1;i<=NF;++i) if ($i~s)print "curl -o temp1 -O " $i "; egrep 'jpg|png|gif' temp1 >> temp2 ; sort temp2 | uniq > temp3 ; mv temp3 temp2" }' | sort | uniq | egrep 'avalon1982.cocolog-nifty.com/photos' | egrep 'html' > sh1 ; rm temp2 |
2.抽出した全HTMLからそのHTMLに含まれる画像リンクを抽出
上記でシェル「sh1」ができますので、内容を確認して実行します。
実行すると全HTMLのダウンロードおよび画像リンクのある行を抽出します。
サムネイルのインデックスを各ページに持つHTMLの場合は、画像リンクの重複がアルバムにある写真の枚数の2乗にもなりますので1000枚もあるとものすごい量(100万行×本体とサムネイルでさらに2倍)になります。このため、「sh1」の中では、APPENDする際、重複の除去を行っています。
全ての実行が終わったら以下を実行します。
実行すると全HTMLのダウンロードおよび画像リンクのある行を抽出します。
サムネイルのインデックスを各ページに持つHTMLの場合は、画像リンクの重複がアルバムにある写真の枚数の2乗にもなりますので1000枚もあるとものすごい量(100万行×本体とサムネイルでさらに2倍)になります。このため、「sh1」の中では、APPENDする際、重複の除去を行っています。
全ての実行が終わったら以下を実行します。
| sed 's/[><)(;=&\"]/ /g' temp2 | awk -v s=http: '{for(i=1;i<=NF;++i) if ($i~s)print "curl --create-dirs -o " $i " -O " $i}' | egrep 'jpg|png|gif' | sort | uniq > sh2 |
3.画像データのダウンロード
上記処理でシェル「sh2」ができますの、これを実行すれば、ダウンロードが始まります。
URLをそのまま出力フォルダーにしているため、「http/」という変なディレクトリがトップにできますが、移動したり、リネームすれば問題ないのでそのまま使ってます。

URLをそのまま出力フォルダーにしているため、「http/」という変なディレクトリがトップにできますが、移動したり、リネームすれば問題ないのでそのまま使ってます。

ブログ全体から画像データを抽出する方法は、「Mac/ブログ移行の際、画像データを確実にダウンロードするには。 」にまとめてます。














![13の月(仮) [CD+DVD] 峰香代子](http://ec2.images-amazon.com/images/I/51nTm-2FmrL._SL500_AA300_.jpg)
![ロボゲイシャ [DVD]](http://ec2.images-amazon.com/images/I/616PfCpYOjL._SL500_AA240_.jpg)

![アイアン・ジャイアント 特別版 [DVD]](http://ec2.images-amazon.com/images/I/41C3LhMhN2L._SL500_AA240_.jpg)
![メトロポリス [DVD]](http://ecx.images-amazon.com/images/I/41ssscjiUxL._SL500_SS75_.jpg)
![禁断の惑星 [DVD]](http://ecx.images-amazon.com/images/I/31Db0WJIiiL._SL500_SS75_.jpg)
![ショート・サーキット2 がんばれ!ジョニー5 [DVD]](http://ec2.images-amazon.com/images/I/61gKZEV3zBL._SL500_SS75_.jpg)
![ウエストワールド [DVD]](http://ec2.images-amazon.com/images/I/2183G9EH0RL._AA75_.jpg)



















































コメントする