AWS にコンピューティングクラスタを設定しています。私はcfnclusterこれを使用して、すべてのコンピューティングノードがアクセスできるマスターノードにNFS共有を作成します。明らかに、これはボトルネックになる可能性があります。以前の作業でcfnclusterを使用したことを見たことがあります。以前はSLURM、入力ファイルをローカルノードにコピーし、ジョブ参照をNFSパスに更新してローカルコピーに移動するプロローグを使用してこの問題を解決しました。同様に、ジョブの出力パスをローカルパスにリダイレクトし、ジョブスクリプトに行を追加して、ジョブが完了した後に出力ファイルをNFSパスにコピーし直しました。
今日はNFSのFS-Cacheについて学びました。これは入力ファイルのコピーを置き換えるように見えますが、プログラムがNFSパスからファイルの一部を要求したときにファイル全体をコピーするようにできる場合にのみ可能です。 NFSから入力ファイルをコピーしてすぐに削除すると、ファイルキャッシュは保存されますか？
私が望むもう1つの方法は、出力ファイルをキャッシュして、そのノードで実行されている次のタスクに必要な場合にNFSから再コピーする必要がないようにすることです。 FS-CacheはNFSへの書き込みをキャッシュしないように見えるため、これを達成できるかどうかはわかりません。間違っていたら教えてください！