Dans le doute, tu peux exclure la suppression des paquets NetworkManager-xxx en ajoutant l'option
--exclude=NetworkManager-* à ta commande ( et tout autre paquet que tu ne voudrais pas supprimer ).
# dnf group remove xfce-desktop --exclude=NetworkManager-*
Examine bien la liste des paquets marqués comme supprimés avant de valider la commande et, au besoin, fais un copié-collé de la liste dans un fichier texte, ainsi tu pourras réinstaller le ou les paquets si tu constates un manque.