Fedora-Fr - Communauté francophone Fedora - Linux

Communauté francophone des utilisateurs de la distribution Linux Fedora.

  

Dernière news : Assemblée Générale Ordinaire de Borsalinux-fr le 22 février à Paris

#1 10/01/2020 11:41:02

personnalcomputer
Membre
Inscription : 10/01/2020
Messages : 8

[Résolu] probleme de vidange du swap

Bonjour,

Je suis nouveau, pas novice dans  linux
J'utilise depuis peu une version de fedora 30 en server

La machine et un serveur xeon 8 coeur de 8 go ram avec 16 tera de disque en raid 0 avec 8go de swap
Tous fonctionnes parfaitement sauf l'utilisation du swap qui ne vidange pas automatiquement aprés un proccess

Exemple : connexion en mode ftp
                   Et chargement d'un fichier trés gros 20 Giga dans le serveur

Les 8 go de memoire a penne utilisé et une fois que les 8 go de swap utilisé la connexion plante et le chargement
Interrompu

Je pensé le swappiness ?
Un petit conseille et le bien venu car avant j'utiliser Mandriva entreprise server 5

Ca change un peu, Merci pour vos commentaire

Hors ligne

#2 10/01/2020 17:08:01

madko
Contributeur Fedora et Linuxé depuis 1994
Modérateur
Lieu : Noisy the Great (9³)
Inscription : 22/12/2006
Messages : 7 829
Site Web

Re : [Résolu] probleme de vidange du swap

Bonjour,

Pourquoi ne pas ajouter de la swap ? 16To de disque, 8 Go c'est un peu bancal. C'est un peu étonnant que le transfert d'un fichier consomme exclusivement toute la RAM, mais si c'est bien le soucis, ajoute une partition ou un fichier de swap.
Le mieux, vu le prix de la RAM, même pour serveur, ce serait d'ajouter de la RAM.

Tu peux sinon tenter de changer la valeur du swappiness en effet. Tente de mettre 0.

Mais ce n'est qu'un contournement, le mieux serait d'essayer de resoudre le problème. Ce n'est pas normal que ça swap pour un simple transfert de fichier, peu importe sa taille.

Hors ligne

#3 10/01/2020 22:07:50

personnalcomputer
Membre
Inscription : 10/01/2020
Messages : 8

Re : [Résolu] probleme de vidange du swap

bonsoir,

effectivement je pourrais ajouter plus de swap, la seul fonction du serveur et de stocké des donnés
pas d'écran ni interface graphique que du shell avec l'accès par https:// ------------:9090  et ftp
d'ou les 8Go de RAM et 8Go de swap

J'ai suivi les conseilles du partitionnement automatique

Bref
le problème et que la mémoire vive n'est pas  sollicité au maximum
je vais suivre votre conseille et tenté le swappiness à 0

je vous donnerez le résultat

Merci

Dernière modification par personnalcomputer (10/01/2020 22:08:26)

Hors ligne

#4 10/01/2020 22:51:12

personnalcomputer
Membre
Inscription : 10/01/2020
Messages : 8

Re : [Résolu] probleme de vidange du swap

résulta

top - 21:49:12 up 22 min,  0 users,  load average: 0.17, 0.20, 0.13
Tasks: 167 total,   1 running, 166 sleeping,   0 stopped,   0 zombie
%Cpu(s):  1.0 us,  1.4 sy,  0.0 ni, 96.7 id,  0.0 wa,  0.2 hi,  0.7 si,  0.0 st
MiB Mem :   7932.6 total,    116.7 free,    293.2 used,   7522.7 buff/cache
MiB Swap:   8080.0 total,   8076.7 free,      3.3 used.   7396.1 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND                                                                              
   74 root      20   0       0      0      0 S   0.7   0.0   0:03.99 kswapd0                                                                              
   10 root      20   0       0      0      0 I   0.3   0.0   0:00.20 rcu_sched                                                                            
  853 root      20   0       0      0      0 I   0.3   0.0   0:02.03 kworker/

swap saturé et mémoire pas sollicité une idée ?

Hors ligne

#5 10/01/2020 22:58:59

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 820
Site Web

Re : [Résolu] probleme de vidange du swap

Mets un swappiness à 5, car tu risque d'avoir oomkiller qui ce déclenche souvent avant que le système bascule sur le swap si tu le mets à 0, il est un peu tatillons.

Je le fais pour mes machines virtuels, cela évite qu'il me tue celles qui consomme trop de mémoire malgrès un swap de plusieurs dizaines de Go (30 Go actuellement et j'ai 32Go de RAM...).


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+ 1xHDD black+1xSSD Evo 500Go , 2x1To QVO

Hors ligne

#6 10/01/2020 23:11:01

personnalcomputer
Membre
Inscription : 10/01/2020
Messages : 8

Re : [Résolu] probleme de vidange du swap

pour le moment, le comportement reste idem
j'ai identifier que le buff/cache consomme presque l'intégralité de la mémoire vive qui provoque automatiquement utilisation du swap

je cherche pour le moment a comprend ou vient l'erreur ?


[root@localhost ~]# free
              total        used        free      shared  buff/cache   available
Mem:        8122988      367704      150536        1112     7604748     7506000
Swap:       8273916        3340     8270576

Dernière modification par personnalcomputer (10/01/2020 23:14:27)

Hors ligne

#7 10/01/2020 23:46:09

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 820
Site Web

Re : [Résolu] probleme de vidange du swap

Mais tu les ouvrent les fichiers ou tu les transferts???

Après je n'utilise plus ftp depuis longtemps, mais je n'ai pas souvenir qu'ils pompent autant lors des transferts de fichier.

Je ferai un test sur mon deuxième serveur qui dispose de 8 Go histoire de voir si je détecte ce genre de chose, mais sur le primaire je n'ai pas constaté ce genre de consommation. Après il a 16Go de RAM avec 10Go de swap, mais même là je n'ai jamais vu ce genre de chose.


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+ 1xHDD black+1xSSD Evo 500Go , 2x1To QVO

Hors ligne

#8 11/01/2020 00:03:10

personnalcomputer
Membre
Inscription : 10/01/2020
Messages : 8

Re : [Résolu] probleme de vidange du swap

actuellement je suis en mode chargement car je remplace mon ancien serveur qui prend une retraite bien mérité !
utilisation par la suite sera uniquement consultation et utilisation standard ftp

actuellement cela m'oblige à charger par paquet de 10 Go puis redémarre le serveur
sa va être long avec 3 To de fichier à déplacer !

Hors ligne

#9 11/01/2020 00:12:26

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 820
Site Web

Re : [Résolu] probleme de vidange du swap

Tu ne peux pas faire un transfert avec scp?

Free -m pendant et après le transfert avec scp :

         total          used          free      shared     buff/cache   available
Mem:          16003        6461         157          25        9384             9183
Swap:         10239        2382        7857

Je referai le test demain, car là j'ai trop de choses qui tournent, mais bon même avec des transferts de fichiers de plusieurs dizaines de Go je n'ai pas de problème. A voir avec ftp...


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+ 1xHDD black+1xSSD Evo 500Go , 2x1To QVO

Hors ligne

#10 11/01/2020 12:56:41

madko
Contributeur Fedora et Linuxé depuis 1994
Modérateur
Lieu : Noisy the Great (9³)
Inscription : 22/12/2006
Messages : 7 829
Site Web

Re : [Résolu] probleme de vidange du swap

euh où tu vois que la swap est utilisé à 100% ? Sur la capture de ton post #4 et #6 que tu met t'es plutot à 0% utilisée.

MiB Swap:   8080.0 total,   8076.7 free,      3.3 used.   7396.1 avail Mem 

3.3M utilisé sur les 8G...

(d'ailleurs pense à utiliser les balises code je vais éditer 1 de tes messages pour que tu vois comment faire).

ensuite les buffers/cache c'est normal que ça consomme la mémoire, c'est pour du cache. Pour rappel la mémoire inutilisée c'est de la mémoire gâchée.

Mais ça renforce ce que je disais en #2, ce n'est pas normal, et du coup pas sûr que la swap soit la bonne piste...

Hors ligne

#11 11/01/2020 18:26:07

personnalcomputer
Membre
Inscription : 10/01/2020
Messages : 8

Re : [Résolu] probleme de vidange du swap

bonjours à tous

je vient de trouver une alternative au problème

suite au conseille de l'utiliser SCP cela fonctionne parfaitement
mes le but d'un serveur et pouvoir avoir une utilisation libre sur tous supports
android, ios, windows, linux

le cache augmente et ne retrouve jamais un équilibre !
le réglage swappiness n'apporte aucune solution

l'astuce après avoir passé une nuit à chercher?

et de planifier une action dans CRON pour vider le cache sans touché à la mémoire tampon

[root@localhost ~]# crontab -l
* * * * * sync; echo 1 > /proc/sys/vm/drop_caches
[root@localhost ~]#

la commande doit être édité en root

crontrab -u root -e

Suite cela il reste plus qu'un start du service
toute les 1 minute il vide le cache
la mémoire tampon reste et le tous fonctionnes parfaitement !

actuellement transfert des fichiers avec filezila
augmentation du cache à 2,5 go et toutes les minutes à zéro

avec test des fichiers copier

tous fonctionnes

Hors ligne

#12 11/01/2020 19:00:30

madko
Contributeur Fedora et Linuxé depuis 1994
Modérateur
Lieu : Noisy the Great (9³)
Inscription : 22/12/2006
Messages : 7 829
Site Web

Re : [Résolu] probleme de vidange du swap

Complètement pas normal cette histoire, car comme dis plus haut c'est normal que le cache utilise toute la mémoire libre. Mais bon tant mieux si ça marche pour toi.

Si le problème est réglé, merci de cliquer sur le bouton "Sujet résolu".

PS: tu n'a pas utiliser les balises code comme demandé

Hors ligne

#13 11/01/2020 21:16:07

personnalcomputer
Membre
Inscription : 10/01/2020
Messages : 8

Re : [Résolu] probleme de vidange du swap

bonsoir,

je me suis peut être mal exprimé j'ai jamais voulu dire que la saturation de la mémoire et normale avec le swap
le chargement et normale et utilisation du cache aussi

alors pourquoi faut-il manuellement vider les deux ? afin d'évité un plantage

j'ai regardé mes ancienne note sous mandriva entreprise server 5 le problème existé déjà 

Merci à votre communauté cela fais plaisir d'avoir un support
depuis la fin  de mandriva j'ai rarement était sur forum spécialisé

Merci à tous

Hors ligne

#14 12/01/2020 10:58:50

madko
Contributeur Fedora et Linuxé depuis 1994
Modérateur
Lieu : Noisy the Great (9³)
Inscription : 22/12/2006
Messages : 7 829
Site Web

Re : [Résolu] probleme de vidange du swap

Tu as regardé les logs du serveur FTP ? Ou du système ? Si ça se trouve t'as un problème matériel sur une barrette ou sur le disque, qui fait que en cas de stress mémoire (utilisation de la swap), ça plante. Ou tout aussi probable, le serveur FTP. C'est lequel ? est-il à jour ? Est-il bien configuré ? Idem pour le système. Mais sans log, sans plus d'info sur la version des logiciels etc on ne peut que faire des suppositions.

Si en plus ça n'arrive que sur des gros transferts, il y a plein d'autres possibilités de plantage. Il peut y avoir une taille max configuré sur le serveur. Qui dit gros transfets, dit connexion à longue durée. Donc il peut y avoir des timeouts sur le serveur, sur un équipement réseau intermédiaire. Ensuite est-ce que la reprise du téléchargement est possible? Pour éviter de repartir à zero à chaque coupure. etc

Le FS peut aussi être impactant. Certains sont limités à 2To par ex. Tu parles de fichier de 3To donc c'est possible aussi.

Par contre, au risque de me répéter, ce qui est 100% sûr et certain, c'est qu'un simple transfert FTP ne fait pas planter un serveur. Le FTP est un des plus vieux protocole au monde, et un des plus utilisé, je t'explique pas le désastre en terme d'image si Linux ne savait pas faire ça sans planter...

Donc en gros, le fait de vider manuellement tes caches, evite ton problème, mais ne le corrige pas sur le fond. Mais on a pas tous le même niveau d'attente, pour te donner une idée, moi au boulot, une solution comme ça c'est la porte direct par ex.

Le fait que tu avais le même soucis sur une autre distro, si c'est le même serveur FTP, indique juste qu'il y a peut être le même soucis dans la config. Cela ne confirme en rien qu'il faille manuellement vider les caches toutes les minutes. Autant couper les caches. Et vider les caches toutes les minutes tu va peut être avoir des effets de bord sur le long terme (performance dégradée, usure des disques etc).

Hors ligne

#15 12/01/2020 20:37:55

personnalcomputer
Membre
Inscription : 10/01/2020
Messages : 8

Re : [Résolu] probleme de vidange du swap

Bonjour,

L'utilisation et purement privée
Pour la vérification matériel cela a déjà était testé
Informations sur le système

Type    Châssis principal du serveur
Nom    X10SLM+-LN4F
Version    0123456789
BIOS    American Megatrends Inc.
Version du BIOS    2.00
Date du BIOS    12/01/2020
CPU    8x Intel(R) Xeon(R) CPU E3-1230 v3 @ 3.30GHz
CPU Security    Mitigations

Les 4 disques dur de 4 Tera neuf de plus renforcé prévu pour être utilisés en continue
Montage en raid 0
Les barrettes mémoires testé
Le serveur et d'occasion mes à été réviser il vient de mon boulot
Remplacer pour une autres version, les informaticiens remplace les machines tous les 4 ans

Pour la configuration OS une seul version Fedora server 30
J'ai testé plus d'une dizaine de version avant d'avoir choisi fedora
Car la gestion https et top !

Après la seul fonction du serveur et d'être un serveur FTP
7 sur 7 24h/24h sans interruption

J'ai repris les différentes choses dites

Sans l'action de vidanger le cache en auto

Utilisation en mode ftp sur tablette ( consultation et téléchargement d'un document vers la tablette)
Aucun problème de cache ou de chargement inutile
Test avec d'autre OS idem
Consultation de l'activité
idem

Chargement vers le serveur réseau local maison standard
Avec Filezilla ( utilisation de 8go de mémoire vive plus un peu de swap)
Avec un lecteur réseau sous tous types OS ( utilisation de la mémoire et du swap totalement !)

Recherche d'un ralitissement sur le réseau local
Effectivement l'un des switch utilisé et pas gigabytes!

Tentative en direct cela et stable

En tous car les créateurs et programmateurs de cette version peut-être fier !
Merci des conseils

Dernière modification par personnalcomputer (12/01/2020 20:40:05)

Hors ligne

#16 12/01/2020 20:42:03

madko
Contributeur Fedora et Linuxé depuis 1994
Modérateur
Lieu : Noisy the Great (9³)
Inscription : 22/12/2006
Messages : 7 829
Site Web

Re : [Résolu] probleme de vidange du swap

RAID0 sur 4 disques tu es sûr ? ça veut dire 4 fois plus de chances de tout perdre...

Bon j'ai pas tout compris mais que dire de plus à part: bonne continuation

Hors ligne

#17 12/01/2020 22:20:28

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 820
Site Web

Re : [Résolu] probleme de vidange du swap

Pinaise...

Passe au RAID 5, au moins tu as les avantages du Raid0( le débit, perso je fais du +/-500Mb/s de moyenne sur mes 3x2to) tout en ayant la sécurité (mode parité), tu peux perdre un disque sans problème (dans ton cas tu dois pouvoir en perdre 2 du coup),  tout en perdant qu'une partie du totale de l'espace disque (1/4 de l'espace totale quoi).

A mon avis tu dois plus saturer le bus Sata que la ram... A voir si cela n'influe pas non plus (vu que c'est du RAID logiciel...).

Après +1 si tu n'a pas le réseau qui suit cherche pas plus loin.


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+ 1xHDD black+1xSSD Evo 500Go , 2x1To QVO

Hors ligne

#18 13/01/2020 11:13:23

madko
Contributeur Fedora et Linuxé depuis 1994
Modérateur
Lieu : Noisy the Great (9³)
Inscription : 22/12/2006
Messages : 7 829
Site Web

Re : [Résolu] probleme de vidange du swap

Le Raid 5 ne tolère la panne que d'un seul disque, peu importe le nombre. A moins de mettre du hot spare. Mais bon toujours bien mieux que le Raid 0.

Hors ligne

Pied de page des forums