Bash viモードのカーソルキーを次に再マップします。(カーソルを無効にする)

Bashでviモード（set -o vi）を使用しているときにカーソルキーを再マッピングして効果がないようにすることはできますか（そして、強制的にh、j、k、l移動キーを使用する必要がありますか？）

vim（エディタ）では、次のことができます。

noremap <Up> <nop>
noremap <Down> <nop>
noremap <Left> <nop>
noremap <Right> <nop>

しかし、readlineのviモードでこれを行う方法がわかりません。