リモートコマンドの一部としてこの文字列をリダイレクトする必要はありません。リダイレクトされたデータは、sshリモートコマンドの標準入力で終了します。

ssh remote 'some command' <<<'whatever string'

あなたに関する限り、

ssh target 'command -j /dev/stdin' <<<'{"key":"value"}'

ただし、これはすでにJSONでエンコードされているkeyと想定しています。value

JSON設定jq（値がシェル変数に格納されていると仮定して値の正しいエンコーディングを取得するには$value）：

jq -nc --arg val "$value" '{ key: $val }' | ssh target 'command -j /dev/stdin'

または、次のようにjoJSONドキュメントを作成します。

jo key="$value" | ssh target 'command -j /dev/stdin'