OK probleme resolu. L'avantage de la solution avec xrandr est que c'est dynamique (pas besoin de modifier xorg a chaque fois que l'on branche/debranche un ecran)...
Donc pour creer un mode non detecte par xrandr il faut creer le mode en question avec:
[mathieu@localhost Desktop]$ cvt 1280 1024
# 1280x1024 59.89 Hz (CVT 1.31M4) hsync: 63.67 kHz; pclk: 109.00 MHz
Modeline "1280x1024_60.00" 109.00 1280 1368 1496 1712 1024 1027 1034 1063 -hsync +vsync
Ensuite prendre les nombre 109.00... et creer le nouveau mode "nouveau_mode":
xrandr --newmode nouveau_mode 109.00 1280 1368 1496 1712 1024 1027 1034 1063
qui devient alors disponible:
[mathieu@localhost Desktop]$ xrandr -q
Screen 0: minimum 320 x 200, current 2560 x 1024, maximum 2560 x 1824
VGA connected 1280x1024+0+0 (normal left inverted right x axis y axis) 338mm x 270mm
800x600 60.3 56.2
640x480 66.7 60.0 59.9
720x400 70.1
nouveau_mode 59.9*
LVDS connected 1280x800+1280+0 (normal left inverted right x axis y axis) 290mm x 180mm
1280x800 60.0*+
1024x768 60.0
800x600 60.3
640x480 59.9
TV disconnected (normal left inverted right x axis y axis)
que l'on peut ensuite activer:
xrandr --output VGA --mode nouveau_mode