Bon encore une fois déjà je ferais un test de la mémoire vive (RAM) de ta machine.
On te vole le mot de passe root, on te pirate ta machine, etc... ? ta sécurisé un tant soit peut ta machine (parefeu, fail2ban, couper l'accès root du ssh, etc...)?
Pour la latence c'est sans doute des réglages dans audacity, voir d'utiliser d'autre chose que pulseaudio.
Après tu n'as pas non plus un foudre de guerre, donc cela vas sans doute être plus compliqué...
Chez moi sans rien faire de plus :
Utiliser 57260 parties de 293 échantillons chaque fois, pour un total de 32,0 Mo.
Préparation…
Traitement de 100 éditions…
Durée pour réaliser 100 éditions : 1184 ms
Vérification de justesse…
Vérification de justesse réussie !
Durée pour la vérification de toutes les données : 744 ms
Relecture des données…
Durée pour la vérification de toutes les données (2) : 818 ms
À 44100 Hz, 16-bits par échantillon, le nombre estimé de pistes
simultanées pouvant être lues en même temps : 465,1
Test de performance terminé avec succès.
Regarde dans les options > périphérique/devices > latence/latency et test.