by 唐草 [2021/05/21]
先日、Googleドライブに40万ファイルをアップロードする計画について書いた。技術と規約の両方に未知の領域があるため開始前から暗雲立ち込めていた。今週から実際に着手し始めたのだけれども、初めの一歩から盛大に躓くこととなってしまったいる。
ぼくは40万ファイルと見積もっていたのだが、全ファイルを検索したら予想を遥かに上回る70万ファイルもあった。おかしい、いつの間に2倍近くに膨れ上がったんだ?
アップロード先であるGoogleドライブは、フロッピー時代を思い出させるほど遅い。転送そのものもあまり早くないが、それ以上にファイル情報の取得が遅い。普通のバックアップソフトを使っていたら70万ファイルの確認だけで数日かかってしまう。それからバックアップを始めたのでは、元データとバックアップのズレが生じてしまうこともあるだろう。だから、自前でファイルのデータベースを準備してからクラウドへのバックアップをすることにした。
理屈上これで完璧なはずだったのだが、データベースを作ってみたら別の問題が発覚した。
なんと毎日5,000〜8,000個のファイルが増加しているのだ。この増加速度なら40万だと思っていたのが、いつの間にか70万まで増えていても不思議ではない。
毎日増える数よりも多くのファイルをバックアップしていかないといつまで経ってもバックアップは終わらない。ところが1日に転送できるのは、多く見積もって6,000ファイルといったところ。
ぼくのシステムがせっせとファイルをバックアップしても、次から次へと新たなファイルがやってくる。まさに現代版アキレスと亀。アキレスの詭弁は微分なので差は極限まで小さくなっていく。でも、ぼくの目の前にあるのは算数の問題で誰かを追いかけるような話。それも超絶速いマッハな亀を太ったおっさんが息を切らせながら追いかけるような無茶振り。亀の方が速かったというアキレスもウサギもビックリな状況をどう乗り切ればいい?