Bonjour,

Je suis nouveau, pas novice dans linux
J'utilise depuis peu une version de fedora 30 en server

La machine et un serveur xeon 8 coeur de 8 go ram avec 16 tera de disque en raid 0 avec 8go de swap
Tous fonctionnes parfaitement sauf l'utilisation du swap qui ne vidange pas automatiquement aprés un proccess

Exemple : connexion en mode ftp
Et chargement d'un fichier trés gros 20 Giga dans le serveur

Les 8 go de memoire a penne utilisé et une fois que les 8 go de swap utilisé la connexion plante et le chargement
Interrompu

Je pensé le swappiness ?
Un petit conseille et le bien venu car avant j'utiliser Mandriva entreprise server 5

Ca change un peu, Merci pour vos commentaire
Bonjour,

Pourquoi ne pas ajouter de la swap ? 16To de disque, 8 Go c'est un peu bancal. C'est un peu étonnant que le transfert d'un fichier consomme exclusivement toute la RAM, mais si c'est bien le soucis, ajoute une partition ou un fichier de swap.
Le mieux, vu le prix de la RAM, même pour serveur, ce serait d'ajouter de la RAM.

Tu peux sinon tenter de changer la valeur du swappiness en effet. Tente de mettre 0.

Mais ce n'est qu'un contournement, le mieux serait d'essayer de resoudre le problème. Ce n'est pas normal que ça swap pour un simple transfert de fichier, peu importe sa taille.
bonsoir,

effectivement je pourrais ajouter plus de swap, la seul fonction du serveur et de stocké des donnés
pas d'écran ni interface graphique que du shell avec l'accès par https:// ------------:9090 et ftp
d'ou les 8Go de RAM et 8Go de swap

J'ai suivi les conseilles du partitionnement automatique

Bref
le problème et que la mémoire vive n'est pas sollicité au maximum
je vais suivre votre conseille et tenté le swappiness à 0

je vous donnerez le résultat

Merci
résulta
top - 21:49:12 up 22 min,  0 users,  load average: 0.17, 0.20, 0.13
Tasks: 167 total,   1 running, 166 sleeping,   0 stopped,   0 zombie
%Cpu(s):  1.0 us,  1.4 sy,  0.0 ni, 96.7 id,  0.0 wa,  0.2 hi,  0.7 si,  0.0 st
MiB Mem :   7932.6 total,    116.7 free,    293.2 used,   7522.7 buff/cache
MiB Swap:   8080.0 total,   8076.7 free,      3.3 used.   7396.1 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND                                                                              
   74 root      20   0       0      0      0 S   0.7   0.0   0:03.99 kswapd0                                                                              
   10 root      20   0       0      0      0 I   0.3   0.0   0:00.20 rcu_sched                                                                            
  853 root      20   0       0      0      0 I   0.3   0.0   0:02.03 kworker/
swap saturé et mémoire pas sollicité une idée ?
Mets un swappiness à 5, car tu risque d'avoir oomkiller qui ce déclenche souvent avant que le système bascule sur le swap si tu le mets à 0, il est un peu tatillons.

Je le fais pour mes machines virtuels, cela évite qu'il me tue celles qui consomme trop de mémoire malgrès un swap de plusieurs dizaines de Go (30 Go actuellement et j'ai 32Go de RAM...).
pour le moment, le comportement reste idem
j'ai identifier que le buff/cache consomme presque l'intégralité de la mémoire vive qui provoque automatiquement utilisation du swap

je cherche pour le moment a comprend ou vient l'erreur ?


[root@localhost ~]# free
total used free shared buff/cache available
Mem: 8122988 367704 150536 1112 7604748 7506000
Swap: 8273916 3340 8270576
Mais tu les ouvrent les fichiers ou tu les transferts???

Après je n'utilise plus ftp depuis longtemps, mais je n'ai pas souvenir qu'ils pompent autant lors des transferts de fichier.

Je ferai un test sur mon deuxième serveur qui dispose de 8 Go histoire de voir si je détecte ce genre de chose, mais sur le primaire je n'ai pas constaté ce genre de consommation. Après il a 16Go de RAM avec 10Go de swap, mais même là je n'ai jamais vu ce genre de chose.
actuellement je suis en mode chargement car je remplace mon ancien serveur qui prend une retraite bien mérité !
utilisation par la suite sera uniquement consultation et utilisation standard ftp

actuellement cela m'oblige à charger par paquet de 10 Go puis redémarre le serveur
sa va être long avec 3 To de fichier à déplacer !
Tu ne peux pas faire un transfert avec scp?

Free -m pendant et après le transfert avec scp :
         total          used          free      shared     buff/cache   available
Mem:          16003        6461         157          25        9384             9183
Swap:         10239        2382        7857
Je referai le test demain, car là j'ai trop de choses qui tournent, mais bon même avec des transferts de fichiers de plusieurs dizaines de Go je n'ai pas de problème. A voir avec ftp...
euh où tu vois que la swap est utilisé à 100% ? Sur la capture de ton post #4 et #6 que tu met t'es plutot à 0% utilisée.
MiB Swap:   8080.0 total,   8076.7 free,      3.3 used.   7396.1 avail Mem 
3.3M utilisé sur les 8G...

(d'ailleurs pense à utiliser les balises code je vais éditer 1 de tes messages pour que tu vois comment faire).

ensuite les buffers/cache c'est normal que ça consomme la mémoire, c'est pour du cache. Pour rappel la mémoire inutilisée c'est de la mémoire gâchée.

Mais ça renforce ce que je disais en #2, ce n'est pas normal, et du coup pas sûr que la swap soit la bonne piste...
bonjours à tous

je vient de trouver une alternative au problème

suite au conseille de l'utiliser SCP cela fonctionne parfaitement
mes le but d'un serveur et pouvoir avoir une utilisation libre sur tous supports
android, ios, windows, linux

le cache augmente et ne retrouve jamais un équilibre !
le réglage swappiness n'apporte aucune solution

l'astuce après avoir passé une nuit à chercher?

et de planifier une action dans CRON pour vider le cache sans touché à la mémoire tampon

[root@localhost ~]# crontab -l
* * * * * sync; echo 1 > /proc/sys/vm/drop_caches
[root@localhost ~]#

la commande doit être édité en root

crontrab -u root -e

Suite cela il reste plus qu'un start du service
toute les 1 minute il vide le cache
la mémoire tampon reste et le tous fonctionnes parfaitement !

actuellement transfert des fichiers avec filezila
augmentation du cache à 2,5 go et toutes les minutes à zéro

avec test des fichiers copier

tous fonctionnes
Complètement pas normal cette histoire, car comme dis plus haut c'est normal que le cache utilise toute la mémoire libre. Mais bon tant mieux si ça marche pour toi.

Si le problème est réglé, merci de cliquer sur le bouton "Sujet résolu".

PS: tu n'a pas utiliser les balises code comme demandé
bonsoir,

je me suis peut être mal exprimé j'ai jamais voulu dire que la saturation de la mémoire et normale avec le swap
le chargement et normale et utilisation du cache aussi

alors pourquoi faut-il manuellement vider les deux ? afin d'évité un plantage

j'ai regardé mes ancienne note sous mandriva entreprise server 5 le problème existé déjà

Merci à votre communauté cela fais plaisir d'avoir un support
depuis la fin de mandriva j'ai rarement était sur forum spécialisé

Merci à tous
Tu as regardé les logs du serveur FTP ? Ou du système ? Si ça se trouve t'as un problème matériel sur une barrette ou sur le disque, qui fait que en cas de stress mémoire (utilisation de la swap), ça plante. Ou tout aussi probable, le serveur FTP. C'est lequel ? est-il à jour ? Est-il bien configuré ? Idem pour le système. Mais sans log, sans plus d'info sur la version des logiciels etc on ne peut que faire des suppositions.

Si en plus ça n'arrive que sur des gros transferts, il y a plein d'autres possibilités de plantage. Il peut y avoir une taille max configuré sur le serveur. Qui dit gros transfets, dit connexion à longue durée. Donc il peut y avoir des timeouts sur le serveur, sur un équipement réseau intermédiaire. Ensuite est-ce que la reprise du téléchargement est possible? Pour éviter de repartir à zero à chaque coupure. etc

Le FS peut aussi être impactant. Certains sont limités à 2To par ex. Tu parles de fichier de 3To donc c'est possible aussi.

Par contre, au risque de me répéter, ce qui est 100% sûr et certain, c'est qu'un simple transfert FTP ne fait pas planter un serveur. Le FTP est un des plus vieux protocole au monde, et un des plus utilisé, je t'explique pas le désastre en terme d'image si Linux ne savait pas faire ça sans planter...

Donc en gros, le fait de vider manuellement tes caches, evite ton problème, mais ne le corrige pas sur le fond. Mais on a pas tous le même niveau d'attente, pour te donner une idée, moi au boulot, une solution comme ça c'est la porte direct par ex.

Le fait que tu avais le même soucis sur une autre distro, si c'est le même serveur FTP, indique juste qu'il y a peut être le même soucis dans la config. Cela ne confirme en rien qu'il faille manuellement vider les caches toutes les minutes. Autant couper les caches. Et vider les caches toutes les minutes tu va peut être avoir des effets de bord sur le long terme (performance dégradée, usure des disques etc).
Bonjour,

L'utilisation et purement privée
Pour la vérification matériel cela a déjà était testé
Informations sur le système

Type Châssis principal du serveur
Nom X10SLM+-LN4F
Version 0123456789
BIOS American Megatrends Inc.
Version du BIOS 2.00
Date du BIOS 12/01/2020
CPU 8x Intel(R) Xeon(R) CPU E3-1230 v3 @ 3.30GHz
CPU Security Mitigations

Les 4 disques dur de 4 Tera neuf de plus renforcé prévu pour être utilisés en continue
Montage en raid 0
Les barrettes mémoires testé
Le serveur et d'occasion mes à été réviser il vient de mon boulot
Remplacer pour une autres version, les informaticiens remplace les machines tous les 4 ans

Pour la configuration OS une seul version Fedora server 30
J'ai testé plus d'une dizaine de version avant d'avoir choisi fedora
Car la gestion https et top !

Après la seul fonction du serveur et d'être un serveur FTP
7 sur 7 24h/24h sans interruption

J'ai repris les différentes choses dites

Sans l'action de vidanger le cache en auto

Utilisation en mode ftp sur tablette ( consultation et téléchargement d'un document vers la tablette)
Aucun problème de cache ou de chargement inutile
Test avec d'autre OS idem
Consultation de l'activité
idem

Chargement vers le serveur réseau local maison standard
Avec Filezilla ( utilisation de 8go de mémoire vive plus un peu de swap)
Avec un lecteur réseau sous tous types OS ( utilisation de la mémoire et du swap totalement !)

Recherche d'un ralitissement sur le réseau local
Effectivement l'un des switch utilisé et pas gigabytes!

Tentative en direct cela et stable

En tous car les créateurs et programmateurs de cette version peut-être fier !
Merci des conseils
RAID0 sur 4 disques tu es sûr ? ça veut dire 4 fois plus de chances de tout perdre...

Bon j'ai pas tout compris mais que dire de plus à part: bonne continuation
Pinaise...

Passe au RAID 5, au moins tu as les avantages du Raid0( le débit, perso je fais du +/-500Mb/s de moyenne sur mes 3x2to) tout en ayant la sécurité (mode parité), tu peux perdre un disque sans problème (dans ton cas tu dois pouvoir en perdre 2 du coup), tout en perdant qu'une partie du totale de l'espace disque (1/4 de l'espace totale quoi).

A mon avis tu dois plus saturer le bus Sata que la ram... A voir si cela n'influe pas non plus (vu que c'est du RAID logiciel...).

Après +1 si tu n'a pas le réseau qui suit cherche pas plus loin.
Le Raid 5 ne tolère la panne que d'un seul disque, peu importe le nombre. A moins de mettre du hot spare. Mais bon toujours bien mieux que le Raid 0.