Après pas mal de tests, je commence à comprendre ce qui se passe sur les TTY.
GDM reste actif, même après la connexion, et garde TTY1. Les connexions aux sessions graphiques se font ensuite par instanciation sur les TTY[2-5] (TTY6 est reservé ligne de commande par défaut)
SDDM a un comportement très différent. Il laisse la main à la session graphique. Seul TTY1 est graphique par défaut.
@chepioq, vu ton comportement, je dirais que tu n'utilises pas GDM. Je te proposerais bien d'essayer GDM, voir si tu as une amélioration dans la stabilité lors des passages entre TTY