公開鍵とyubikeyを使用したSSHでの2段階認証

二重認証を設定しようとしています。 2つの方法でログインしたいと思います。

1. 公開鍵> YubiKey
2. パスワード>ユビキ

これでこれが完了したので、パスワードでログインできるユーザーを指定したいと思います（たとえば、一致するユーザー...パスワード認証は次のようになります）。ユーザーがリストにない場合は、PubKeyとYubikeyを介してのみログインできます。どうすればいいですか？

これは私のsshd_configです。
これは私の汎用検証PAMファイルです。