Re: Abus mémoire via cryptsetup
François Boisson wrote: Le Fri, 21 Nov 2008 17:18:26 +0100 Mathieu JANIN [EMAIL PROTECTED] a écrit: Ca, c'est pratique quand tu as un besoin ponctuel de mêmoire supplémentaire, mais AMHA, niveau perfs, il vaut mieux ton petit swap disque qu'un swap en loopback. C'est si inefficace que ça les fichiers swap?? Il ne met quand même pas ces fichiers en cache, ce serait ridicule... J'ai bien déjà vu du swap en mémoire (RAM)... ... bon, ok. C'était un prototype de recherche et la mémoire qui servait de swap était distante : l'ordi y accédait à travers un réseau SCI (mémoire distante mappée dans l'espace d'adressage local et transférée de manière transparente par la carte SCI) Mais j'avais trouvé l'idée de swap en mémoire très rigolote. Vincent -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Le 20 novembre 2008 09:36, Kevin Hinault [EMAIL PROTECTED] a écrit : ... Ni une ni deux, je vérifie ma mémoire avec free : Il ne me restait que 30 Mo de libre ! (et le swap n'était pas utilisé mais c'est un autre problème que je ne comprend pas) # free -o -m total used free sharedbuffers cached Mem: 3028 1161 1866 0 92815 Swap:0 0 0 ... Je me réponds sur la question du swap a 0. C'était tout bêtement que je n'avais jamais executé la commande swapon : # swapon /dev/sda4 # free -o -m total used free sharedbuffers cached Mem: 3028 2966 61 0105 2587 Swap: 509 0509 Bien qu'apparement cela ne serve pas trop, si j'ai bien compris. Comme on peut le voir ici la mémoire est repassé à une utilisation excessive : dans Munin j'ai un pic à partir de 20h et aucun retour à la normal, ce pic coïncide avec un transfert ftp. J'imagine que ma mémoire était déjà comme cela depuis longtemps sans que je m'en aperçoive. Je vais donc supposer que c'est normal. Concernant mon service qui avait sauté pour out of memory, je vais attendre gentiment qu'il recommence. Le problème était surement ailleurs. Et sinon j'avais reçu une idée de Mathieu JANIN auquel je n'ai pas répondu directement ici, il proposait l'option remount de la commande mount. Celle-ci ne fait rien. -- Vous aimez la bretagne ? Breizh da viken : www.pointbzh.com -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Mathieu JANIN a écrit : Mais au delà de ça, une fois un processus swappé (sur disque) il ne nécessite plus d'alimentation pour les maintenir en mêmoire vive, et donc tu fais des économies d'énergie et tu diminue le vieillissement de ta ram (au détriment du disque). C'est une blague ? Je me méfie, on est vendredi. -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Le vendredi 21 novembre 2008, Pascal Hambourg a écrit : Mathieu JANIN a écrit : Mais au delà de ça, une fois un processus swappé (sur disque) il ne nécessite plus d'alimentation pour les maintenir en mêmoire vive, et donc tu fais des économies d'énergie et tu diminue le vieillissement de ta ram (au détriment du disque). C'est une blague ? Je me méfie, on est vendredi. Non, c'est une constatation. Quand tu laisse tourner un serveur longtemps (tu dois connaitre ;) ), tu t'aperçois que les processus peu sollicités sont petit à petit swappés lors de demandes ponctuelles de ram qui le necessitent. Au final, ne restent plus en ram que les process vraiment actifs. Or en ram dynamique (cas général), les zones inexploitées consomment peu car elles ne sont pas raffraichies, donc ce déchargement de la ram qui bouffe du jus au profit d'un swap qui ne consomme que lors des io diminue la conso générale et sollicite moins ta ram (qui chauffe moins donc vieillit moins). Non ? -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Hello, Le vendredi 21 novembre 2008 à 11:06 +0100, Mathieu JANIN a écrit : Mais au delà de ça, une fois un processus swappé (sur disque) il ne nécessite plus d'alimentation pour les maintenir en mêmoire vive, et donc tu fais des économies d'énergie et tu diminue le vieillissement de ta ram (au détriment du disque). Gni ???!! La RAM consomme la même quantité de courant qu'on y stocke des données utiles ou du bruit... Bruno -- VIE DE MERDE M : Après les avoir exploités toute l'année... les patrons envoient leurs employés croupir un mois dans une caravane... au milieu d'un tas de cons en short... P : Les salauds !... signature.asc Description: Ceci est une partie de message numériquement signée
Re: Abus mémoire via cryptsetup
Salut, Kevin Hinault a écrit : # free -o -m total used free sharedbuffers cached Mem: 3028 2966 61 0105 2587 Swap: 509 0509 Comme on peut le voir ici la mémoire est repassé à une utilisation excessive : Rien ici n'indique une utilisation excessive. Le cache utilise toute la mémoire disponible, ce qui est normal et bien. Si cela t'inquiètes, tu peux forcer le vidage des caches de pages, dentries et inodes avec la commande suivante : sysctl -w vm.drop_caches=3 ou echo 3 /proc/sys/vm/drop_caches Et la valeur de la colonne cached devrait passer quasiment à zéro (et la machine va ramer, car elle devra recharger plein de données depuis le disque). Si ce n'est pas le cas, il peut effectivement y avoir un problème qui empêche le cache disque de se libérer en cas de besoin. dans Munin j'ai un pic à partir de 20h et aucun retour à la normal, ce pic coïncide avec un transfert ftp. Un pic de quoi ? -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Le vendredi 21 novembre 2008, Kevin Hinault a écrit : Le 20 novembre 2008 09:36, Kevin Hinault [EMAIL PROTECTED] a écrit : [snip] Je me réponds sur la question du swap a 0. C'était tout bêtement que je n'avais jamais executé la commande swapon : # swapon /dev/sda4 # free -o -m total used free sharedbuffers cached Mem: 3028 2966 61 0105 2587 Swap: 509 0509 Swapon t'active bien le swap, mais comme les autres partitions, il faut le mettre en config dans le fstab pour rendre ça permanent. Bien qu'apparement cela ne serve pas trop, si j'ai bien compris. La preuve que si, même si ce sont ici des circonstances exceptionnelle, le swap fournit un peu plus de mêmoire quand il y a une fuite, donc un peu plus de temps pour résoudre le problême avant qu'il devienne critique, et que la pénurie de ram commence à tuer les services. Mais au delà de ça, une fois un processus swappé (sur disque) il ne nécessite plus d'alimentation pour les maintenir en mêmoire vive, et donc tu fais des économies d'énergie et tu diminue le vieillissement de ta ram (au détriment du disque). Enfin bon, 500 Mo de swap, c'est pas assez vu ta config: si tu commence à déborder des 3Go dont tu disposes en ram, c'est pas 500 Mo de plus qui vont changer grand chose. Comme on peut le voir ici la mémoire est repassé à une utilisation excessive : dans Munin j'ai un pic à partir de 20h et aucun retour à la normal, ce pic coïncide avec un transfert ftp. J'imagine que ma mémoire était déjà comme cela depuis longtemps sans que je m'en aperçoive. Je vais donc supposer que c'est normal. Concernant mon service qui avait sauté pour out of memory, je vais attendre gentiment qu'il recommence. Le problème était surement ailleurs. Et sinon j'avais reçu une idée de Mathieu JANIN auquel je n'ai pas répondu directement ici, il proposait l'option remount de la commande mount. Celle-ci ne fait rien. -- Vous aimez la bretagne ? Breizh da viken : www.pointbzh.com ++, MATT -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Mathieu JANIN a écrit : Quand tu laisse tourner un serveur longtemps (tu dois connaitre ;) ), tu t'aperçois que les processus peu sollicités sont petit à petit swappés lors de demandes ponctuelles de ram qui le necessitent. Plus exactement les pages de mémoire allouées qui n'ont pas été accédées depuis longtemps sont swappées. Ce n'est pas forcément un processus entier qui est swappé. Au final, ne restent plus en ram que les process vraiment actifs. Les pages actives. Or en ram dynamique (cas général), les zones inexploitées consomment peu car elles ne sont pas raffraichies, donc ce déchargement de la ram qui bouffe du jus au profit d'un swap qui ne consomme que lors des io diminue la conso générale et sollicite moins ta ram (qui chauffe moins donc vieillit moins). D'où tiens-tu cela ? La RAM dynamique doit être rafraîchie de toute façon, quoi qu'elle contienne et qu'on y accède où pas. D'autre part le contrôleur mémoire qui gère le rafraîchissement n'a pas de notion des zones inexploitées ou swappées. De toute façon, la mémoire libre ne reste jamais longtemps inexploitée, elle est plus ou moins vite récupérée pour servir de cache disque. -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Le Ven 21 novembre 2008 12:06, Mathieu JANIN a écrit : [...] Au final, ne restent plus en ram que les process vraiment actifs. Or en ram dynamique (cas général), les zones inexploitées consomment peu car elles ne sont pas raffraichies, donc ce déchargement de la ram qui bouffe du jus au profit d'un swap qui ne consomme que lors des io diminue la conso générale et sollicite moins ta ram (qui chauffe moins donc vieillit moins). Quand j'ai eu des problemes d'alimentation, j'ai fait des recherches sur internet. Il y a des personnes qui se sont amusées à sortir tous les elements de leur PC et à les remettre un par un, à les permutter, à les changer, ... et à mesurer la conso du PC. Au final, je n'ai plus les références, mais la barrette de RAM consommait 4W à vide et 30W à pleine utilisation (cout des ecritures/lectures plus de l'utilisation CPU pour les faire). Ca doit dépendre des marques, modèles et capacités, mais j'ai pas approfondi, pour mon estimation d'alimentation, ce n'etait pas significatif. Donc, si tu retires les processus inutiles et que tu désactives le cache, au mieux, tu gagneras une fraction de 20W ! Par contre, tu attaqueras plus férocement les IO sur disque qui, lui, consomme entre 5W et 10W pour de l'IDE et entre 7W et 10W pour du SATA (ne me demandez pas, je n'ai plus les références des bench). Donc, en théorie, oui, ce serait possible de limiter la consommation électrique, à la condition que la consommation des RAM soit proportionnelle à la qualité (utile/inutile) de leurs données (j'ai des doutes la dessus). C'est kiki fait un bench sur le sujet ? Fanfan -- http://www.cerbelle.net - http://www.afdm-idf.org -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Le vendredi 21 novembre 2008, Pascal Hambourg a écrit : (...) Plus exactement les pages de mémoire allouées qui n'ont pas été accédées depuis longtemps sont swappées. Ce n'est pas forcément un processus entier qui est swappé. Tu chipottes ! Mais ca offre d'autant plus de cas possibilité de swap des parties de la ram que le découpage entre ce qui est swappable et ce qui ne l'est pas est fin. D'où tiens-tu cela ? La RAM dynamique doit être rafraîchie de toute façon, quoi qu'elle contienne et qu'on y accède où pas. D'autre part le contrôleur mémoire qui gère le rafraîchissement n'a pas de notion des zones inexploitées ou swappées. De toute façon, la mémoire libre ne C'est là qu'il me semble aprés vérification qu'il y a une faille dans mon raisonnement: le raffraichissement ne semble effectivement pas être sélectif: Citation de http://gilles.aurejac.free.fr/ramguide/guidetech.html#matrice Le condensateur se décharge obligatoirement au bout d'un moment à cause de fuites du courant électrique. C'est pourquoi le cycle de fonctionnement de la mémoire inclut un cycle de rafraîchissement des données, qui consiste à lire puis réécrire simultanément l'état logique de tous les points mémoire d'une rangée. Ici pour rafraîchir la mémoire il faut donc 64 cycles de rafraîchissement, un par rangée de points mémoire. Rafraîchissement Sur une puce mémoire de 16 Mbits (soit 2 Mo) organisée en 4096 colonnes et 4096 rangées (4096x4096=16 777 216 bits, donc bien 16 Mbits), il faut activer séparément les 4096 rangées une à une pour rafraîchir toute la puce. On parle alors de puce 4k refresh, puisqu'il faut 4096 cycles pour rafraîchir les données de la RAM (toutes les puces d'une barrette étant rafraîchies en parallèle). reste jamais longtemps inexploitée, elle est plus ou moins vite récupérée pour servir de cache disque. Tu es certain que le cache disque est de taille dynamique ? Sinon, tu aurais aussi pu me faire remarquer que l'usage dépendait quand même aussi du réglage de /proc/sys/vm/swappiness. -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Le vendredi 21 novembre 2008, Kevin Hinault a écrit : Le 20 novembre 2008 09:36, Kevin Hinault [EMAIL PROTECTED] a écrit : (...) Et sinon j'avais reçu une idée de Mathieu JANIN auquel je n'ai pas répondu directement ici, il proposait l'option remount de la commande mount. Celle-ci ne fait rien. Oui, mais... Il me vient une variante toujours aussi crade, puique tu dis que quand tous les fichiers sont fermés, un umount suivi d'un mount remettent les choses d'equerre: Au lieu de croner un remount, tu crones une commande qui fait le umount+mount, seulement si lsof te dit qu'il n'y a pas de fichier ouvert (ce que tu as fait à la main). ++ -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Le 21 novembre 2008 16:08, Mathieu JANIN [EMAIL PROTECTED] a écrit : Le vendredi 21 novembre 2008, Kevin Hinault a écrit : Le 20 novembre 2008 09:36, Kevin Hinault [EMAIL PROTECTED] a écrit : (...) Et sinon j'avais reçu une idée de Mathieu JANIN auquel je n'ai pas répondu directement ici, il proposait l'option remount de la commande mount. Celle-ci ne fait rien. Oui, mais... Il me vient une variante toujours aussi crade, puique tu dis que quand tous les fichiers sont fermés, un umount suivi d'un mount remettent les choses d'equerre: Au lieu de croner un remount, tu crones une commande qui fait le umount+mount, seulement si lsof te dit qu'il n'y a pas de fichier ouvert (ce que tu as fait à la main). ++ Oui mais enfin non lol. Mes services utilisent des données présentes sur ces partitions donc il y a toujours des fichiers ouverts en temps normal. En tout cas les fichiers ouverts tournent selon mes utilisateurs. Quand j'ai fais mon umount / mount, j'avais bien fermé tout mes services un à un. Une fois qu'il n'y avait plus de fichiers ouverts sur mes partitions, la mémoire n'était pas encore libéré. C'est la que j'ai tenté le umount et que ma mémoire s'est remise bien. Je me vois mal arrêter tout mes services régulièrement (les utilisateurs aimeront pas), vérifier les fichiers ouverts, killer au besoin et démonter/remonter les partition. c'est bancal comme action. Enfin bon, 500 Mo de swap, c'est pas assez vu ta config: si tu commence à déborder des 3Go dont tu disposes en ram, c'est pas 500 Mo de plus qui vont changer grand chose. En effet, j'avais mal dosé mon swap à l'installation. Maintenant je me sens bloqué, je n'ose pas trop toucher mes partitions à chaud. J'ai lu que c'était possible (façon LVM) mais je ferais des tests sur une autre bécane dans les mêmes conditions avant de le faire sur ce serveur. En attendant je vais me créer un fichier de swap pour pallier ce manque. Merci à tous pour toutes vos infos sur la gestion de la mémoire. Vraiment celle ML est excellente, on en apprend toujours beaucoup à côté de ce qu'on demande ;) -- Vous aimez la bretagne ? Breizh da viken : www.pointbzh.com -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Le vendredi 21 novembre 2008, Kevin Hinault a écrit : (..) Je me vois mal arrêter tout mes services régulièrement (les utilisateurs aimeront pas), vérifier les fichiers ouverts, killer au besoin et démonter/remonter les partition. c'est bancal comme action. Certes, mais tu peux améliorer ton script pour qu'il vérifie les connections avant, puis arrète tous les services avant de faire le umount+mount. Et si la charge n'arrive qu'au bout de plusieurs jours, tu peux faire en sorte que cette opération n'arrive qu'à un moment dutilisation minimale dans la nuit. Fin bon. C'était juste une piste pour pas rester bloqué. En attendant je vais me créer un fichier de swap pour pallier ce manque. Ca, c'est pratique quand tu as un besoin ponctuel de mêmoire supplémentaire, mais AMHA, niveau perfs, il vaut mieux ton petit swap disque qu'un swap en loopback. Merci à tous pour toutes vos infos sur la gestion de la mémoire. Vraiment celle ML est excellente, on en apprend toujours beaucoup à côté de ce qu'on demande ;) -- De rien, ++ -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Le Fri, 21 Nov 2008 17:18:26 +0100 Mathieu JANIN [EMAIL PROTECTED] a écrit: Ca, c'est pratique quand tu as un besoin ponctuel de mêmoire supplémentaire, mais AMHA, niveau perfs, il vaut mieux ton petit swap disque qu'un swap en loopback. C'est si inefficace que ça les fichiers swap?? Il ne met quand même pas ces fichiers en cache, ce serait ridicule... F. Boisson -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
François Boisson, vendredi 21 novembre 2008, 18:11:49 CET Le Fri, 21 Nov 2008 17:18:26 +0100 Mathieu JANIN [EMAIL PROTECTED] a écrit: Ca, c'est pratique quand tu as un besoin ponctuel de mêmoire supplémentaire, mais AMHA, niveau perfs, il vaut mieux ton petit swap disque qu'un swap en loopback. C'est si inefficace que ça les fichiers swap?? Il ne met quand même pas ces fichiers en cache, ce serait ridicule... Moi, ça fait longtemps que j’ai réglé les problèmes de vitesse de la swap : j’utilise un fichier dans /dev/shm… Ouais, bon, elle est vieille, mais c’est vendredi hein… -- Sylvain Sauvage -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Mathieu JANIN a écrit : Le vendredi 21 novembre 2008, Pascal Hambourg a écrit : (...) De toute façon, la mémoire libre ne reste jamais longtemps inexploitée, elle est plus ou moins vite récupérée pour servir de cache disque. Tu es certain que le cache disque est de taille dynamique ? Plutôt, oui. Il suffit de regarder sa taille de temps en temps, et de constater qu'il finit par occuper presque toute la mémoire libre à l'exception d'une petite réserve. C'est l'utilisation la plus efficace de la mémoire : à quoi servirait de la mémoire réellement inoccupée ? -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Abus mémoire via cryptsetup
Bonjour la liste ! Je suis soumis à une étrangeté sur ma Debian Etch. Une utilisation excessive de ma RAM à cause de mes partitions chiffrées. La situation est la suivantes : - 1 disque dur de 500 Go avec : - 1 partition ext3 de 15 Go pour le / qui est non chiffrée - 2 partitions ext3 d'environ 240 Go chacune chiffrée avec cryptsetup - 1 partition swap de 500 Mo - 3 Go de DDR - uptime : 150 jours Jusqu'à hier pas de problème particulier la bête gèrent plusieurs services et tout tournent correctement sans exploitation particulière des ressources dans top. C'est justement pour ça que je n'ai pas vu arriver mon problème : Hier je m'aperçois qu'un de mes services à sauté et logwatch m'informe que le noyau a tué ce service par manque de mémoire. Ni une ni deux, je vérifie ma mémoire avec free : Il ne me restait que 30 Mo de libre ! (et le swap n'était pas utilisé mais c'est un autre problème que je ne comprend pas) Bref je regarde mes processus, rien de particulier, aucun ne prend des ressources excessives : 5% maximum pour le pire d'entre eux. Du coup hier soir, je m'attaque au problème : j'arrête chaque service un à un et vérifie l'état de free entre chaque. Je me rends à l'évidence à la fin, j'ai gagné à peine 250 Mo de libre une fois tout mes services arrêté (hormis ssh)... Y a donc un problème ailleurs, et la je pense à mes partitions chiffrés. Je démonte la première qui est vide : aucun résultats, je démonte la seconde qui est utilisé à 88% (mais sans aucun processus n'accédant aux données, lsof à l'appui) et là tout à coup je récupère mes (presque) 3 Go de libre sur ma mémoire Depuis hier j'ai installé munin et je vais surveiller ça mais bon rien qu'entre hier soir et ce matin j'ai perdu déjà pas mal : # free -o -m total used free sharedbuffers cached Mem: 3028 1161 1866 0 92815 Swap:0 0 0 Donc je me demande s'il existe un moyen de vider cette utilisation abusive de la mémoire sans avoir à démonter les partitions ? Quelqu'un a t'il déjà rencontré ce problème ? -- Vous aimez la bretagne ? Breizh da viken : www.pointbzh.com -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Le Jeu 20 novembre 2008 09:36, Kevin Hinault a écrit : [...] Donc je me demande s'il existe un moyen de vider cette utilisation abusive de la mémoire sans avoir à démonter les partitions ? Quelqu'un a t'il déjà rencontré ce problème ? Salut, Ne serait-ce pas la mémoire cache du noyau qui conserve les données accédées sur un système de fichier en mémoire. Ces blocs devraient être automatiquement libérés lorsque le système a besoin de mémoire et déclenche une récupération de la mémoire disponible (elles devraient soit partir dans le swap, soit être éliminée). Mais ca n'explique pas ton out of memory. Dans munin, tu dervais pouvoir identifier facilement (chez moi, le cache est orange) quel type de mémoire occupe la mémoire physique. Fanfan -- http://www.cerbelle.net - http://www.afdm-idf.org -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Salut, Ne serait-ce pas la mémoire cache du noyau qui conserve les données accédées sur un système de fichier en mémoire. Ces blocs devraient être automatiquement libérés lorsque le système a besoin de mémoire et déclenche une récupération de la mémoire disponible (elles devraient soit partir dans le swap, soit être éliminée). Mais ca n'explique pas ton out of memory. Dans munin, tu dervais pouvoir identifier facilement (chez moi, le cache est orange) quel type de mémoire occupe la mémoire physique. Fanfan Salut François, C'est bien la mémoire cache en effet qui était utilisée (enfin d'après free). Je vais tout le même surveiller ça bien mieux avec munin. Mais donc si c'est le cache du noyau, ne devrait elle pas être libéré si les processus sont arrêté ? Et pourquoi le système n'utilise pas plutôt le swap ? (qui ne devrait pas être à 0 dans free d'ailleurs). D'ailleurs si c'est un cache du noyau pourquoi est ce l'umount qui m'a libéré de la mémoire ? O_o Je viens de penser que j'avais une autre machine avec elle aussi une partition chiffré dans les même conditions et j'ai vérifié : # free -o -m total used free sharedbuffers cached Mem: 1000987 13 0 3944 Swap: 509 0509 # uptime 10:06:47 up 51 days, 16:01, 1 user, load average: 0.64, 0.56, 0.29 Aie ! (je vais mettre un munin aussi ici lol) -- Vous aimez la bretagne ? Breizh da viken : www.pointbzh.com -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Kevin Hinault a écrit : Salut, Ne serait-ce pas la mémoire cache du noyau qui conserve les données accédées sur un système de fichier en mémoire. Ces blocs devraient être automatiquement libérés lorsque le système a besoin de mémoire et déclenche une récupération de la mémoire disponible (elles devraient soit partir dans le swap, soit être éliminée). Mais ca n'explique pas ton out of memory. Dans munin, tu dervais pouvoir identifier facilement (chez moi, le cache est orange) quel type de mémoire occupe la mémoire physique. Fanfan Salut François, C'est bien la mémoire cache en effet qui était utilisée (enfin d'après free). Je vais tout le même surveiller ça bien mieux avec munin. Mais donc si c'est le cache du noyau, ne devrait elle pas être libéré si les processus sont arrêté ? Et pourquoi le système n'utilise pas plutôt le swap ? (qui ne devrait pas être à 0 dans free d'ailleurs). D'ailleurs si c'est un cache du noyau pourquoi est ce l'umount qui m'a libéré de la mémoire ? O_o Je ne peux pas t'aider au niveau de ton pb. Mais j'ai moins même constater que ma swap reste en permanence à Zero...étrange non ? j'ai 2Go de RAM et 1Go de swap. Je suis dans le calcul numérique dans la RAM se remplie souvent, mais rien de se déverse dans la swap...comprends pas... -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
GiGGz, jeudi 20 novembre 2008, 10:25:52 CET Kevin Hinault a écrit : Salut, ’lut, C'est bien la mémoire cache en effet qui était utilisée (enfin d'après free). Je vais tout le même surveiller ça bien mieux avec munin. Mais donc si c'est le cache du noyau, ne devrait elle pas être libéré si les processus sont arrêté ? Non : si une application vient de lire un fichier, il y a des chances que le fichier soit réutilisé rapidement. Autrement dit : pourquoi enlever de la mémoire cache une donnée qui pourrait resservir ? (Évidemment, c’est à modérer avec le besoin de place…) Et pourquoi le système n'utilise pas plutôt le swap ? (qui ne devrait pas être à 0 dans free d'ailleurs). D'ailleurs si c'est un cache du noyau pourquoi est ce l'umount qui m'a libéré de la mémoire ? O_o Le umount indique que les fichiers ne sont plus disponibles sur le disque. Ils ne sont plus disponibles « tout court ». Ils n’ont donc plus rien à faire dans la cache. Ce serait même illogique que certains (morceaux de) fichiers soient encore disponibles parce qu’ils sont en cache. Le cache doit absolument être transparent pour les applications. Je ne peux pas t'aider au niveau de ton pb. Mais j'ai moins même constater que ma swap reste en permanence à Zero...étrange non ? Non, ce n’est pas étrange. j'ai 2Go de RAM et 1Go de swap. Je suis dans le calcul numérique dans la RAM se remplie souvent, mais rien de se déverse dans la swap...comprends pas... Le swap n’est utilisé que s’il est nécessaire. Et swapper est suffisamment lent pour que ça ne serve que le temps que le sysadmin tue lui-même les applications qui bouffent trop de RAM. D’t’façon, vu la taille actuelle des RAM, pour les utilisations « bureau », je ne mets plus de swap que pour des hibernations… -- Sylvain Sauvage -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Le Jeu 20 novembre 2008 10:17, Kevin Hinault a écrit : C'est bien la mémoire cache en effet qui était utilisée (enfin d'après free). Je vais tout le même surveiller ça bien mieux avec munin. Mais donc si c'est le cache du noyau, ne devrait elle pas être libéré si les processus sont arrêté ? Et pourquoi le système n'utilise pas plutôt le swap ? (qui ne devrait pas être à 0 dans free d'ailleurs). D'ailleurs si c'est un cache du noyau pourquoi est ce l'umount qui m'a libéré de la mémoire ? O_o Je n'explique pas pourquoi : 1 - des blocs de mémoire cache ne sont pas libérés par le noyau lorsqu'un processus a besoin de mémoire ; 2 - ton swap n'est pas utilisé lorsque le système arrive au bout de la mémoire disponible. En théorie (je ne suis pas un expert es noyau), si un processus demande de la mémoire : - mémoire disponible = on la lui donne - mémoire insufisante = on libere les pages mémoires libérables (caches noyau, par exemple) et on lui donne - mémoire insuffisante = on deplace des blocs dans le swap et on lui donne - mémoire insuffisante = on tue un process selon un algo particulier (le plus gourmand, si ma mémoire est bonne) et on lui donne la mémoire Donc, si tu systeme libérait le cache à la demande, tu aurais pu lancer ton process, si ton systeme utilisait le swap, tu aurait pu lancer ton process. Mais pourquoi sembles tu avoir ces deux problemes. Je répete, je ne suis pas expert dans ce domaine et je peux faire totalement fausse route. Fanfan -- http://www.cerbelle.net - http://www.afdm-idf.org -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
Re: Abus mémoire via cryptsetup
Bonjour ! Je n'ai aucune lumière sur la raison du problême, ni évidemment sur la manière de le règler proprement, mais par contre, si un mount -o remount, qui peut se faire à priori sans se préoccuper des accés, permet de récupèrer la mêmoire perdue, il suffit de croner ce remount à intervale régulier. Juste une idée temporaire sale, comme ça... ++, MATT Le jeudi 20 novembre 2008, Kevin Hinault a écrit : Bonjour la liste ! Je suis soumis à une étrangeté sur ma Debian Etch. Une utilisation excessive de ma RAM à cause de mes partitions chiffrées. La situation est la suivantes : - 1 disque dur de 500 Go avec : - 1 partition ext3 de 15 Go pour le / qui est non chiffrée - 2 partitions ext3 d'environ 240 Go chacune chiffrée avec cryptsetup - 1 partition swap de 500 Mo - 3 Go de DDR - uptime : 150 jours Jusqu'à hier pas de problème particulier la bête gèrent plusieurs services et tout tournent correctement sans exploitation particulière des ressources dans top. C'est justement pour ça que je n'ai pas vu arriver mon problème : Hier je m'aperçois qu'un de mes services à sauté et logwatch m'informe que le noyau a tué ce service par manque de mémoire. Ni une ni deux, je vérifie ma mémoire avec free : Il ne me restait que 30 Mo de libre ! (et le swap n'était pas utilisé mais c'est un autre problème que je ne comprend pas) Bref je regarde mes processus, rien de particulier, aucun ne prend des ressources excessives : 5% maximum pour le pire d'entre eux. Du coup hier soir, je m'attaque au problème : j'arrête chaque service un à un et vérifie l'état de free entre chaque. Je me rends à l'évidence à la fin, j'ai gagné à peine 250 Mo de libre une fois tout mes services arrêté (hormis ssh)... Y a donc un problème ailleurs, et la je pense à mes partitions chiffrés. Je démonte la première qui est vide : aucun résultats, je démonte la seconde qui est utilisé à 88% (mais sans aucun processus n'accédant aux données, lsof à l'appui) et là tout à coup je récupère mes (presque) 3 Go de libre sur ma mémoire Depuis hier j'ai installé munin et je vais surveiller ça mais bon rien qu'entre hier soir et ce matin j'ai perdu déjà pas mal : # free -o -m total used free sharedbuffers cached Mem: 3028 1161 1866 0 92815 Swap:0 0 0 Donc je me demande s'il existe un moyen de vider cette utilisation abusive de la mémoire sans avoir à démonter les partitions ? Quelqu'un a t'il déjà rencontré ce problème ? -- Vous aimez la bretagne ? Breizh da viken : www.pointbzh.com -- Lisez la FAQ de la liste avant de poser une question : http://wiki.debian.org/DebFrFrenchLists Vous pouvez aussi ajouter le mot ``spam'' dans vos champs From et Reply-To: To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of unsubscribe. Trouble? Contact [EMAIL PROTECTED]
