Salut,
# yum grouplist | grep -i xfce
XFCE Software Development
XFCE
Il existe donc un groupe « XFCE ».
As-tu essayé ceci ?
# yum groupinstall "XFCE"
Dans pirut, tu as aussi une case « XFCE » dans la section « Environnements de bureau » (ou quelque chose d'approchant).