パスワードなしでローカルSSHサーバーに接続できないのはなぜですか？

パスワードなしでローカルSSHサーバーへのSSH接続を有効にしようとしています。

$ ls ~/.ssh
config  id_dsa  id_dsa.pub  id_rsa  id_rsa.pub  known_hosts  known_hosts.old


$ ssh-agent
SSH_AUTH_SOCK=/tmp/ssh-VYbFIb5qW0vi/agent.28080; export SSH_AUTH_SOCK;
SSH_AGENT_PID=28085; export SSH_AGENT_PID;
echo Agent pid 28085;

$ ssh-add ~/.ssh/id_rsa
Identity added: /home/t/.ssh/id_rsa (/home/t/.ssh/id_rsa)

しかし、なぜまだパスワードを提供する必要がありますか？ありがとうございます。

$ ssh t@localhost
t@localhost's password: 

$ ssh -i ~/.ssh/id_rsa  t@localhost
t@localhost's password: