Amazon Linux で s3cmd 使う時の注意点

そういうこともあるんだなーってメモ。

現象

s3cmdでcronに定期的にバックアップを取っていたが、ある日突然バックアップできなくなった

原因

バックアップを対象のファイルが1ファイルで5Gを超えていたため。

s3は5G以上のファイルは、Multipart Uploadでアップロードする必要がある

対応

s3cmdに、--multipart-chunk-size-mbオプションをつけて実行することによって解消

・・・はしなかった。

僕がいじってるAmazon Linux AMI 2013.03のs3cmdのRPMはs3cmd-1.0.1だったりする。
s3cmdのページを参考にすると、--multipart-chunk-size-mbが利用できるようになるのは、1.1.0-beta2からぽい。

というわけで・・・ソースから入れる・・・・なんてことはせずに、RPMを作る

元になるファイルは、
Fedora 20のs3cmd-1.5.0-0.alpha3のソースパッケージから1.5.0のパッケージをもってきてRPMをつくる。
ちなみにRPMの作り方は

http://openlab.dino.co.jp/2007/11/16/13162254.html
http://wiki.poyo.jp/read/Writing/misc/linux/rpm_de_php/06.Make%20Simple%20PHP#content_1_0

ここらへんが参考になる。

で、パッケージつくてインストールしたら、無事s3cmdに、--multipart-chunk-size-mbつけて完了ー。