ファイルシステムからPostgresにデータをロードしています。各ファイルには1つのjsonを含む5億の単一ファイルがあります。 Postgresをより効率的にするために、個々のファイルではなく一括ロードしたいと思います。これで次のループができました。
time for i in datafiles/*; do psql -c "\copy json_parts(json_data) FROM $i"& done
ここに「一括機能」を追加するのに役立ちますか？私はbashに精通していません。一度に40個のファイルを処理し、それらの間に区切り文字を追加してpostgresがこれが別々の縮小であることを知ることができるようにするには、ある種の外部ループが必要だと思います。私は遊んでいます。
ls|head -$j| tail -40
外側のループとして、言ったように、私は熟練していません...