スクリプトでSCPコマンドを使用してランダムな「接続が拒否されました」

私はSCPを使用してクラウドのVPSから自分のPCにファイルをバックアップしています。以前のバージョンのバックアップスクリプトには、サーバーのルートディレクトリ内のすべてのエントリをバックアップするSCPコマンドがありました。これは完璧に動作します..

ところが、サーバーが大きくなるにつれて大きくなり始め、特定のディレクトリ（約12個）でSCPコマンドを実行するようにスクリプトを変更しています。今、いくつかの個々のSCPコマンドは、「接続が拒否されました」というメッセージでランダムに失敗します。ただし、スクリプトの次のSCPコマンドは機能します。どこかに制限がある場合に備えて、各SCPコマンド間に5秒の遅延を追加しましたが、十分ではありません。

原因は何ですか？何を確認できますか？

netstatスクリプトが実行され、サーバーの私のIPから複数のSSH接続が表示されます（もちろん、発信接続も含まれますが、netstatそのうちの1つですか？）。

重要な場合、サーバーはUbuntu Server 16.04を実行しており、マイコンピュータはUbuntu 14.04を実行しています。