複数のサーバーでshスクリプトを並列に実行する

ループ内の複数のサーバーでタスクを実行しようとしていますが、最初のサーバーでタスクを開始し、最初のサーバーが完了するのを待たずに2番目のサーバーに直接移動したいと思います。

HOSTS="host1 host2"
    For hostname in ${HOST} ;
do ssh -tt ${USERNAME}@${hostname} << EOF
actions
exit
EOF
Done 

Linux sh bashでこれを行う方法を知っている人はいますか？

よろしくお願いします。