C'est sûrement un problème de permission sur ton .ssh et le authorized_keys
0700 pour le repertoire .ssh
0600 pour le authorized_keys
Si le .ssh est bien dans le home de ton user, vaut mieux s'assurer que le contexte SELinux est bon (car je ne sais pas comment tu as créé ces fichiers)
# restorecon -Rv ~toto
Après ça devrait fonctionner.