ffmpegがMP4とMKVをマージすると「moovatomが見つかりません」

MP4ファイル（ビデオのみを含む）をMKVファイル（オーディオのみを含む）とマージしようとしています。私は次のコマンドを使用しています：

ffmpeg -i video.mp4 -i audio.mkv -c copy output.mp4

ただし、次のエラーが発生します。

[mov,mp4,m4a,3gp,3g2,mj2 @ 0x55b524bcb9c0] moov atom not found
file:///home/myuser/output.mp4: Invalid data found when processing input

なぜそんなことですか？

バージョンffmpeg: 3.3.4-2

システム：Ubuntu 17.10