あいまいな質問があります。Googleが難しいので、stackexchangeを使用すると便利です。
現状は
- ローカルコンピュータ：Ubuntu 16.04、空き容量が少ない（〜100 Gb）
- リモートサーバー：Ubuntu 18.04、多くのストレージ（〜2 Tb）、および多くのユーザー。
- 通信: ftp/ssh経由
- 現在のアプリケーション：数日間リモートサーバーでモデルを実行します。
リモートサーバーには多くのデータセット（合計1.5 Tb）がありますが、必ずしもすべてを使用するわけではありません。家には大容量8TBのハードドライブがあります。必要なファイルだけをサーバーに転送することはできますが、データセットを変更するためにやりたいことをすべて行うには時間がかなりかかるようです。私のローカルハードドライブをリモートサーバーの「一時」ストレージとして使用する賢い方法はありますか？繰り返しますが、データのオーバーヘッドが多すぎませんか？
私の唯一の解決策は、ローカルハードドライブをローカルコンピュータに接続してリモートサーバーの「共有フォルダ」にすることでした。これにより、リモートサーバーがデータにアクセスできるはずですが、これはモデルの実行中にコンピュータの電源を入れ続ける必要があることを意味するようです。そして私はまだデータ転送時間のために苦労しています。