gsutilのためにpython pip → crcmodをインストール

投稿日：
Google Cloud Storageへのバックアップコマンドが失敗していたので調査したときの覚書。

環境： CentOS 7.7, Python 2.7.5

下記エラー
ResumableUploadAbortException: 403 The project to be billed is associated with a closed billing account.
理由は無料トライアル期間が終了していたから。
管理画面でアップグレード。
無事転送できるようになった（すぐ実行したら失敗したので少し時間が必要みたい）。

さらに下記メッセージが気になった。
NOTE: You are uploading one or more large file(s), which would run
significantly faster if you enable parallel composite uploads. This
feature can be enabled by editing the
"parallel_composite_upload_threshold" value in your .boto
configuration file. However, note that if you do this large files will
be uploaded as `composite objects
`_,which
means that any user who downloads such objects will need to have a
compiled crcmod installed (see "gsutil help crcmod"). This is because
without a compiled crcmod, computing checksums on composite objects is so slow that gsutil disables downloads of composite objects.
なので、crcmodをインストールしてみた。
インストール方法の確認
# gsutil help crcmod

pip経由でインストールするらしい。
インストールされているか確認
# gsutil version -l

ビルドに必要なライブラリをインストール。
# yum install gcc python-devel python-setuptools redhat-rpm-config

pipをyum経由でインストール
# yum install python2-pip

crcmodインストール
# pip install --no-cache-dir -U crcmod

確認
# gsutil version -l

設定ファイルを確認
# cd
# less .boto

parallel_composite_upload_thresholdの項目を読むと、NEARLINEで行うと削除料金が発生すると書いてあったので使うのをやめた。


【関連記事】