リモートサーバーにSSHを接続すると「要求されたアドレスを割り当てられません」エラーが発生する

Ubuntu 14.04でopensshをインストールし、SSHポートを変更しました。 LAN内部では問題なくログインできますが、外部では接続できません。

また、ファイアウォールを介して許可し、linksysルータでポート転送を設定しました。

ログインするたびにエラーが発生します（数字の代わりに＃を置き換えました）。

ssh: connect to host #.#.#.# port #: Can't assign requested address

他に何が確認でき、何が間違っている可能性がありますか？助けてください。