Re: [FUG-BR] SQUID despeja memória e não usa o esp ecificado
somente para exemplificar uma coisa. sei que o servidor não é nada comparado com o seu mas não tenho problemas com ele 1 servidor modesto ibm netfinity 3000 PIII 550 256RAM 1 hd scsi -> OS 2 hd´s scsi 7200 9gb em gstripe ( RAID 0 ) -> cache_dir # squid.conf # maximum_object_size 50 MB cache_mem 200 MB store_avg_object_size 130 KB cache_swap_low 95 cache_swap_high 99 cache_dir diskd /usr/local/squid/cache/a 7300 16 256 Q1=72 Q2=64 cache_dir diskd /usr/local/squid/cache/b 7300 16 256 Q1=72 Q2=64 cache_dir diskd /usr/local/squid/safe2000 8 128 Q1=64 Q2=72 icp_hit_stale on # necessary for squid cluster. cache_swap_log /usr/local/squid/logs/swap_log cache_access_log /usr/local/squid/logs/access.log cache_store_log none buffered_logs on coredump_dir /tmp Squid Object Cache: Version 2.5.STABLE14 Start Time: Fri, 18 Aug 2006 03:03:08 GMT Current Time: Fri, 18 Aug 2006 19:00:01 GMT Connection information for squid: Number of clients accessing cache: 40 Number of HTTP requests received: 221452 Number of ICP messages received:0 Number of ICP messages sent:0 Number of queued ICP replies: 0 Request failure ratio: 0.00 Average HTTP requests per minute since start: 122.4 Average ICP messages per minute since start:0.0 Select loop called: 3099064 times, 18.526 ms avg Cache information for squid: Request Hit Ratios: 5min: 66.5%, 60min: 77.0% Byte Hit Ratios:5min: 59.4%, 60min: 60.3% Request Memory Hit Ratios: 5min: 50.0%, 60min: 42.5% Request Disk Hit Ratios:5min: 35.0%, 60min: 15.7% Storage Swap size: 4954712 KB Storage Mem size: 110928 KB Mean Object Size: 14.83 KB Requests given to unlinkd: 0 Median Service Times (seconds) 5 min60 min: HTTP Requests (All): 1.38447 0.17711 Cache Misses: 1.62803 1.11539 Cache Hits:0.0 0.03241 Near Hits: 0.0 0.13498 Not-Modified Replies: 0.0 0.01387 DNS Lookups: 0.20377 0.06083 ICP Queries: 0.0 0.0 Resource usage for squid: UP Time:57412.135 seconds CPU Time: 312.137 seconds CPU Usage: 0.54% CPU Usage, 5 minute avg:0.39% CPU Usage, 60 minute avg: 0.44% Process Data Segment Size via sbrk(): 65952 KB Maximum Resident Size: 166992 KB Page faults with physical i/o: 1 Memory accounted for: Total accounted:35638 KB memPoolAlloc calls: 4335740 memPoolFree calls: 3617045 File descriptor usage for squid: Maximum number of file descriptors: 7360 Largest file desc currently in use: 34 Number of file desc currently in use: 30 Files queued for open: 0 Available number of file descriptors: 7330 Reserved number of file descriptors: 100 Store Disk files open: 0 Internal Data Structures: 334149 StoreEntries 2153 StoreEntries with MemObjects 2151 Hot Object Cache Items 334036 on-disk objects Store Directory Statistics: Store Entries : 334149 Maximum Swap Size : 16998400 KB Current Store Swap Size: 4954712 KB Current Capacity : 29% used, 71% free # kurohitsugi# mount /dev/da0s1a on / (ufs, local) devfs on /dev (devfs, local) /dev/da0s1e on /tmp (ufs, local, soft-updates) /dev/da0s1f on /usr (ufs, local, soft-updates) /dev/da0s1d on /var (ufs, local, soft-updates) devfs on /var/named/dev (devfs, local) /dev/stripe/cachea on /usr/local/squid/cache (ufs, asynchronous, local, noatime, noexec, nosuid) -- -=-=-=-=-=-=-=-=-=- William David Armstrong <.Of course it runs Bio Systems Security Networking <|== MSN / GT [EMAIL PROTECTED] <' OpenBSD or FreeBSD -- - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] SQUID despeja memória e não usa o esp ecificado
Traduzi este texto do proprio faq do squid leia com atenção. 1. 3 questões rápidas que você deve saber antes de tudo. Você deve estar perguntando que micro eu tenho que ter para rodar este serviço ? O mesmo micro que você está dedicando agora para o firewall, pois o squid não é muito exigente com relação a velociade do CPU, e sim no I/O, pois ai que ele vai exigir velocicade para acessar os arquivos em cache, mas tudo isso irá depender do seu bom senso na hora de configura-lo. Recomendo mínimo 256 MB de RAM, e o max de 8 GB por cache_dir e HD ATA-66. Qual o tamanho do cache_dir devo usar? A maioria das pessoas têm uma partição do disco dedicada ao cache do Squid. Se você não quer usar o tamanho inteiro da partição. Você pode deixar o espaço vazio sem problemas. Porém atualmente, o Squid não é muito tolerante para funcionar com o disco cheio. Vamos dizer que você tem um disco 9 GB. Lembre que os fabricantes do disco se mentem sobre o espaço disponível real. Um disco que tem etiquetado 9GB resulta geralmente aproximadamente em 8.5GB do espaço real final, usável. Primeiramente, ponha um filesystem sobre ele, e monte-o. Verifique então "o espaço disponível que sobrou" com o programa do df. Note que você perde algum espaço de disco aos overheads do filesystem, como superblocks, aos inodes, e às entradas de diretório. Note também que Unix reserva normalmente 10% livre para si. Assim com um disco 9GB, você terá aproximadamente a 8GB após o formatado. Em seguida, eu sugiro fazer uma reserva de outros 10% ou assim para overheads do Squid, é "reserva seguro." Pois o Squid põe normalmente seus arquivos de swap.state em cada diretório da partição de cache. Estes crescem no tamanho conforme vão adicionando arquivo no cache_dir, Note também que o Squid roda melhor quando há um espaço mais livre. Assim se o desempenho for importante para você, deixe então mais espaço livre. Tipicamente, para um disco 9GB, eu recomendo um cache_dir entre 6000 a 7500 megabytes: cache_dir... 7000 16 256 É melhor começar conservando mais espaço livre. E depois que apartição se tornar completa, olhe o uso do disco. Se você pensar há uma abundância de espaço não utilizado, aumente então o valor de uso do cache_dir que irá ajustar-se com o tempo. Se você estiver começando o "disco cheio" e ele reportar erros de escrita ( write error´s ), É necessario diminuir o tamanho tamanho do cache_dir para liberar mais espaço na partição. Quanto memória eu necessito em meu Servidor para o Squid ? Em geral no Squid usa aproximadamente 10 MB de memória RAM por GB do total de todos os cache_dirs ( mais em servidores Alfa 64-bits ), além do seu ajuste do cache_mem ajuste para que sobre uns 10-20 MB adicionais. Recomenda-se ter ao menos duas vezes está quantidade de RAM física disponível em seu servidor do Squid. Para melhores detalhes no uso da memória e como configurar o Squid , consulte a Documentação e o FAQ do Squid. Cálule uma memória RAM extra recomendada, além de o que é usada por Squid, que também será compartilhada pelo OS para utiliza-lá a fim de melhorar o desempenho do acesso I/O aumentando os cache buffers e por outras aplicações ou serviços que funcionam no Servidor. diminuindo o uso do SWAP e liberando mais I/O para os processos do cache_dir do Squid. Deve-se seguir está regra pois mesmo que você tenha apenas em servidor o Squid como o único serviço do tcp rodando, existe um nível de memória mínimo necessitado para rotinas gerênciamento de processos, registros, e o outras rotinas internos do OS. Se você tiver um servidor com pouca memória, e um disco grande, Você não poderá necessariamente usar todo o espaço de disco, porque quando a partição se encher, a memória disponível será insuficiente, forçando o Squid a esvaziar o buffer de memória e afetará assim o desempenho. Um cache_dir muito grande e uma quantidade de memória física total disponivél insuficiente + o Swap podem fazer com que o Squid pare de funcionar completamente. A solução para partições maiores deve ter mais RAM física; somente reservar mais RAM ao Squid através do cache_mem não ajudará. http://www.onlamp.com/pub/a/onlamp/2004/02/12/squid.html Six Things First-Time Squid Administrators Should Know is an article written for the O'Reilly Network to promote the publication of the book. http://www.onlamp.com/pub/a/onlamp/2004/03/25/squid.html Eleven Metrics to Monitor for a Happy and Healthy Squid is another article written for the O'Reilly Network to promote the publication of the book. -- -=-=-=-=-=-=-=-=-=- William David Armstrong <.Of course it runs Bio Systems Security Networking <|== MSN / GT [EMAIL PROTECTED] <' OpenBSD or FreeBSD -- - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.c
Re: [FUG-BR] SQUID despeja memória e não usa o esp ecificado
2006/8/17, Eduardo Frazão <[EMAIL PROTECTED]>: > Meu amigo, vc colocou isso na cache mem do squid? > 2950 MB? > > Isso é só a memoria para gerenciamento do cache, e nao do daemon todo. > > para um cache de 2 ou 3 GB, uns 96MB de RAM no parametro cache_mem sao > suficientes, talvez no maximo, 128MB, ou 160. Isso vai dar uso de mais > de uns 650MB normalmente. Meu cache que é super simples, uso 48MB de > cache_mem com 650MB de cache, e meu squid consome mais de 200MB de > RAM. > > Talvez nao seja necessario vc configurar no kernel valores de memoria. > Acredito que os valores padrão, já estejam setados para um bom > gerenciamento de grandes volumes de memória. > > Em 17/08/06, Marcos Fco. A. Silva<[EMAIL PROTECTED]> escreveu: > > Consegui algo mas ainda não é o desejado, > > > > Só para constar. > > > > O problema estava mesmo na configuração dos valores das seguintes > > options do Kernel: > > Já tinha testado o Kernel com essas options dessa maneira. > > Obs: > >Com esses valores o servidor não inicializou e portanto compliei > > o KERNEL sem elas. > > > > #optionsMAXDSIZ=(3072UL*1024*1024) > > #optionsMAXSSIZ=(3072UL*1024*1024) > > #optionsDFLDSIZ=(3072UL*1024*1024) > > > > > > > > Configurei elas com os seguintes valores: > > Obs: > >Com esses valores o servidor subiu normal e esta alocando a > > memória corretamente até 2GB. > > > > optionsMAXDSIZ=(2000UL*1024*1024) > > optionsMAXSSIZ=(2000UL*1024*1024) > > optionsDFLDSIZ=(2000UL*1024*1024) > > > > Quando eu ativei as options para usar 3GB não funcionou e o sistema > > não subiu no ato do reboot, já com o valor para usar 2G funcionou e o > > sistema subiu corretamente. > > Alguém sabe se existe alguma limitação dessas options ao uso de > > grandes quantidades de memória? Pois até onde eu sei o FreeBSD com PAE > > ativado no Kernel suporta até 64GB de RAM, mas em processadores de 32bits > > não consegue endereçar mais de 4GB diretamente. Será que não é por causa > > destas limitações de processadores 32bits que eu não consigo aumentar o > > valor dessas options? > > > > Quanto ao despejo de memória eu entendi o que ocorre e achei esse > > comportamento do sistema seguro. > > Quando se usa um Kernel GENERIC o valor padrão dessas options é de > > 512MB por processo, meu Squid estava configurado para usar 2965MB e com > > isso o FreeBSD ia alocando memória para o processo do squid, quando o > > processo atingia 520MB o sistema matava o processo que estourou o limite de > > memória e jogava um outro processo do squid que estava com status de wait > > na fila de processos e sendo assim ele novamente ia alocando memória até > > atingir o seu limite. > > Com isso ao compilar o Kernel sem essas options eu fiquei limitado > > ao valor padrão de um Kernel GENERIC. > > > > > > Marcos Fco. A. Silva escreveu: > > > Não sei o que fazer, com certeza é algo com o meu KERNEL. > > > Olhando pelo top o sistema vai informando o uso da Memória e quando > > > atinge 512 ou um pouco mais o sistema libera memória e caia o uso para > > > 83 MB e isso se repete o dia inteiro. > > > > > > Alguém já viu isso... > > > > > > Tem alguma limitação ou conflito entre as options (MAXDSIZ, MAXSSIZ e > > > DFLDSIZ) e um KERNEL com PAE ativado? > > > > > > Marcos Fco. A. Silva escreveu: > > > > > >> Bom dia a todos, > > >> > > >> Eu coloquei no ar um servidor proxy Squid conforme a configuração > > >> abaixo: > > >> > > >> Server ITAUTEC LS200 com dois processadores Xeon 3.0 e 4 GB de RAM > > >> DDR2 ECC. > > >> Disco SCSI Utra320 de 80 GB 15.000 Rpm > > >> > > >> Instalei o Squid, ativei o diskd, Ajustei o KERNEL com as seguintes > > >> options: > > >> > > >> options SYSVMSG > > >> options MSGMNB=16384 > > >> options MSGMNI=41 > > >> options MSGSEG=2049 > > >> options MSGSSZ=64 > > >> options MSGTQL=512 > > >> options SHMSEG=16 > > >> options SHMMNI=32 > > >> options SHMMAX=2097152 > > >> options SHMALL=3096 > > >> > > >> As options abaixo não funcionaram, pois quando eu ativei o server > > >> não subia. > > >> Tive que comentar, talvez o problema esteja aqui. > > >> > > >> #optionsMAXDSIZ=(3072UL*1024*1024) > > >> #optionsMAXSSIZ=(3072UL*1024*1024) > > >> #optionsDFLDSIZ=(3072UL*1024*1024) > > >> > > >> Tive também que compilar o KERNEL PAE para suportar os 4GB de RAM. > > >> > > >> No squid.conf eu ajustei para usar 2965 MB da minha RAM, mas ele não > > >> passa dos 520 MB, > > >> quando atinge esse valor o sistema despeja a memória e volta a usar 90 > > >> MB de RAM e gradativamente > > >> sobe o uso até atingir novamente a casa dos 520 MB e com isso torna a > > >> despejar a memória. > > >> > > >> Alguém sabe explicar porque isso acontece ou onde estou erra
Re: [FUG-BR] SQUID despeja memória e não usa o esp ecificado
Meu amigo, vc colocou isso na cache mem do squid? 2950 MB? Isso é só a memoria para gerenciamento do cache, e nao do daemon todo. para um cache de 2 ou 3 GB, uns 96MB de RAM no parametro cache_mem sao suficientes, talvez no maximo, 128MB, ou 160. Isso vai dar uso de mais de uns 650MB normalmente. Meu cache que é super simples, uso 48MB de cache_mem com 650MB de cache, e meu squid consome mais de 200MB de RAM. Talvez nao seja necessario vc configurar no kernel valores de memoria. Acredito que os valores padrão, já estejam setados para um bom gerenciamento de grandes volumes de memória. Em 17/08/06, Marcos Fco. A. Silva<[EMAIL PROTECTED]> escreveu: > Consegui algo mas ainda não é o desejado, > > Só para constar. > > O problema estava mesmo na configuração dos valores das seguintes > options do Kernel: > Já tinha testado o Kernel com essas options dessa maneira. > Obs: >Com esses valores o servidor não inicializou e portanto compliei > o KERNEL sem elas. > > #optionsMAXDSIZ=(3072UL*1024*1024) > #optionsMAXSSIZ=(3072UL*1024*1024) > #optionsDFLDSIZ=(3072UL*1024*1024) > > > > Configurei elas com os seguintes valores: > Obs: >Com esses valores o servidor subiu normal e esta alocando a > memória corretamente até 2GB. > > optionsMAXDSIZ=(2000UL*1024*1024) > optionsMAXSSIZ=(2000UL*1024*1024) > optionsDFLDSIZ=(2000UL*1024*1024) > > Quando eu ativei as options para usar 3GB não funcionou e o sistema > não subiu no ato do reboot, já com o valor para usar 2G funcionou e o sistema > subiu corretamente. > Alguém sabe se existe alguma limitação dessas options ao uso de > grandes quantidades de memória? Pois até onde eu sei o FreeBSD com PAE > ativado no Kernel suporta até 64GB de RAM, mas em processadores de 32bits não > consegue endereçar mais de 4GB diretamente. Será que não é por causa destas > limitações de processadores 32bits que eu não consigo aumentar o valor dessas > options? > > Quanto ao despejo de memória eu entendi o que ocorre e achei esse > comportamento do sistema seguro. > Quando se usa um Kernel GENERIC o valor padrão dessas options é de > 512MB por processo, meu Squid estava configurado para usar 2965MB e com isso > o FreeBSD ia alocando memória para o processo do squid, quando o processo > atingia 520MB o sistema matava o processo que estourou o limite de memória e > jogava um outro processo do squid que estava com status de wait na fila de > processos e sendo assim ele novamente ia alocando memória até atingir o seu > limite. > Com isso ao compilar o Kernel sem essas options eu fiquei limitado ao > valor padrão de um Kernel GENERIC. > > > Marcos Fco. A. Silva escreveu: > > Não sei o que fazer, com certeza é algo com o meu KERNEL. > > Olhando pelo top o sistema vai informando o uso da Memória e quando > > atinge 512 ou um pouco mais o sistema libera memória e caia o uso para > > 83 MB e isso se repete o dia inteiro. > > > > Alguém já viu isso... > > > > Tem alguma limitação ou conflito entre as options (MAXDSIZ, MAXSSIZ e > > DFLDSIZ) e um KERNEL com PAE ativado? > > > > Marcos Fco. A. Silva escreveu: > > > >> Bom dia a todos, > >> > >> Eu coloquei no ar um servidor proxy Squid conforme a configuração > >> abaixo: > >> > >> Server ITAUTEC LS200 com dois processadores Xeon 3.0 e 4 GB de RAM > >> DDR2 ECC. > >> Disco SCSI Utra320 de 80 GB 15.000 Rpm > >> > >> Instalei o Squid, ativei o diskd, Ajustei o KERNEL com as seguintes > >> options: > >> > >> options SYSVMSG > >> options MSGMNB=16384 > >> options MSGMNI=41 > >> options MSGSEG=2049 > >> options MSGSSZ=64 > >> options MSGTQL=512 > >> options SHMSEG=16 > >> options SHMMNI=32 > >> options SHMMAX=2097152 > >> options SHMALL=3096 > >> > >> As options abaixo não funcionaram, pois quando eu ativei o server > >> não subia. > >> Tive que comentar, talvez o problema esteja aqui. > >> > >> #optionsMAXDSIZ=(3072UL*1024*1024) > >> #optionsMAXSSIZ=(3072UL*1024*1024) > >> #optionsDFLDSIZ=(3072UL*1024*1024) > >> > >> Tive também que compilar o KERNEL PAE para suportar os 4GB de RAM. > >> > >> No squid.conf eu ajustei para usar 2965 MB da minha RAM, mas ele não > >> passa dos 520 MB, > >> quando atinge esse valor o sistema despeja a memória e volta a usar 90 > >> MB de RAM e gradativamente > >> sobe o uso até atingir novamente a casa dos 520 MB e com isso torna a > >> despejar a memória. > >> > >> Alguém sabe explicar porque isso acontece ou onde estou errando? > >> > >> Grato a todos, > >> > >> > >> > -- > > Marcos Francisco A. Silva > > Existem indivíduos que estão consideravelmente adiantados nessa trajetória > para o Criador > É extremamente importante saber que ninguém ensina nada, mas que existem > pessoas que aprendem >
