Visiblement tu as déjà fait beaucoup d'essais et je sais que cela n'est pas toujours évident "parce que c'est long".
Plutôt que de reculer (XFree) as-tu essayé de passer sur une version plus récente de xorg.
La version 6.8.2-6 est disponible dans la branche de développement et s'installe plutôt facilement (je trouve).
Perso je te conseille de pendre le
SRPM (car les RPM binaires sont prévus pour FC4 et compilés avec gcc4)
et de le recompiler (attention cela prend un bonne 1/2 heure)
rpmbuild --rebuild --target=i686 xorg-x11-6.8.2-6.src.rpm
ensuite, en mode texte (init 3), tu installes cette nouvelle version ainsi que les drivers nvidia
cd /usr/src/redhat/RPMS/i686
rpm -Fvh xorg*.rpm
cd [répertoire de download]
./NVIDIA-Linux-x86-1.0-6629-pkg1.run
A+