Xfce est dans le dépôt extras. Effectivement, il faut l'installer à partir de yum (le dépôt extras est initialisé par défaut).
Un post ancien décrivait une autre méthode, s'appuyant sur
smart, excellent gestionnaire de dépendances avancées, et la constitution d'un dépôt local:
voir ce post .