Re: [FUG-BR] Mais otimizações para squid.
On 9/15/06, Thiago Damas <[EMAIL PROTECTED]> wrote: > Tambem pode-se usar no fstab noatime. Que tal: /dev/ad5c /usr/local/squid/cache ufs rw,noatime,noexec,nosuid,nosymfollow2 2 > Para calcular o nro de diretorios e subdiretorios, sigo uma dica > encontrada a muito tempo atras numa lista do squid: > * SEMPRE, no maximo, em cada diretorio do segundo nivel, tera cerca > de 255 arquivos Eu deixei com cerca de 550. E o FreeBSD faz hash do diretório. > * a media do tamanho do arquivo nesses diretorios eh 13Kb No meu caso deu 13.6 se não me engano. Mas estou fazendo cache de arquivos de até 16 MB. > > Deve-se fazer um calculo: > NRO_DIRETORIOS_NIVEL1 * NRO_DIRETORIOS_NIVEL2 * 255 * 13Kb = > TAMANHO_DA_PARTICAO > > Para esse tamanho de particao, eu usaria algo perto de: > L1=128 Pelas minhas contas, se colocar 255 por diretório, seria 64. Estou contando ter quase 5 milhões de arquivos. > L2=256 > > Se usar valores muito abaixo, pode ocorrer de "lotar" os diretorios > e nao ocupar o espaco desejado. Até que os meus não estão muito abaixo. João Rocha. > > > []s > > > On 9/15/06, Joao Rocha Braga Filho <[EMAIL PROTECTED]> wrote: > > O HD IDE da Seagate de 250 GB pifou, e só com 2 meses e meio de uso > > no squid. Segundo o smartmontools, começou a dar erro de seek, e com > > isto os erros de ECC foram tão altos que deu a volta no contador. > > > > Agora estou instalando um novo HD. Aliás 2 novos. Um, para o sistema, > > é um HD da Samsung, que já conferi com o smartmontools que está bom, > > e o outro é um HD SATA da Seagate de 80 GB que tinha disponível, para o > > cache. > > > > Neste novo cache eu estabeleci alguns parâmetros novos para o file > > system. Limitei o cache do squid em 70 GB, já que o HD é de 80. E com > > isto o próprio squid dele limitar em 63 GB (90% do espaço concedido a > > ele). Aumentei o primeiro nível de diretórios de 16 para 32, e desconfio > > que a média de arquivos em cada diretório fique agora em cerca de 550, > > e ele fique abaixo do 5 milhões de arquivos (com 72 GB ocupados estava > > em cerca de 5.3 milhões). Com isto defini que a média de arquivos por > > diretório não deve ficar longe dos 550, e ainda criei quase 8 milhões de > > i-nodes. Baixei a reserva de 8% para 6%. > > > > newfs -U -O2 -i 10240 -m 8 -h 550 -g 14000 -o time /dev/ad5c > > > > Tomei o cuidado de não usar o espaço todo em disco, e permitir que o > > sistema de arquivos fique otimimizado para velocidade. Pouco espaço > > livre implica em perda de desempenho, segundo a man page do tunefs(8) > > e do newfs(8). Também tomei cuidado para manter o Soft Update, para > > aumentar o desempenho. > > > > > > João Rocha. > > > > > > -- > > "Sempre se apanha mais com as menores besteiras. Experiência própria." > > > > [EMAIL PROTECTED] > > [EMAIL PROTECTED] > > http://www.goffredo.eti.br > > - > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- "Sempre se apanha mais com as menores besteiras. Experiência própria." [EMAIL PROTECTED] [EMAIL PROTECTED] http://www.goffredo.eti.br - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Mais otimizações para squid.
Tambem pode-se usar no fstab noatime. Para calcular o nro de diretorios e subdiretorios, sigo uma dica encontrada a muito tempo atras numa lista do squid: * SEMPRE, no maximo, em cada diretorio do segundo nivel, tera cerca de 255 arquivos * a media do tamanho do arquivo nesses diretorios eh 13Kb Deve-se fazer um calculo: NRO_DIRETORIOS_NIVEL1 * NRO_DIRETORIOS_NIVEL2 * 255 * 13Kb = TAMANHO_DA_PARTICAO Para esse tamanho de particao, eu usaria algo perto de: L1=128 L2=256 Se usar valores muito abaixo, pode ocorrer de "lotar" os diretorios e nao ocupar o espaco desejado. []s On 9/15/06, Joao Rocha Braga Filho <[EMAIL PROTECTED]> wrote: > O HD IDE da Seagate de 250 GB pifou, e só com 2 meses e meio de uso > no squid. Segundo o smartmontools, começou a dar erro de seek, e com > isto os erros de ECC foram tão altos que deu a volta no contador. > > Agora estou instalando um novo HD. Aliás 2 novos. Um, para o sistema, > é um HD da Samsung, que já conferi com o smartmontools que está bom, > e o outro é um HD SATA da Seagate de 80 GB que tinha disponível, para o > cache. > > Neste novo cache eu estabeleci alguns parâmetros novos para o file > system. Limitei o cache do squid em 70 GB, já que o HD é de 80. E com > isto o próprio squid dele limitar em 63 GB (90% do espaço concedido a > ele). Aumentei o primeiro nível de diretórios de 16 para 32, e desconfio > que a média de arquivos em cada diretório fique agora em cerca de 550, > e ele fique abaixo do 5 milhões de arquivos (com 72 GB ocupados estava > em cerca de 5.3 milhões). Com isto defini que a média de arquivos por > diretório não deve ficar longe dos 550, e ainda criei quase 8 milhões de > i-nodes. Baixei a reserva de 8% para 6%. > > newfs -U -O2 -i 10240 -m 8 -h 550 -g 14000 -o time /dev/ad5c > > Tomei o cuidado de não usar o espaço todo em disco, e permitir que o > sistema de arquivos fique otimimizado para velocidade. Pouco espaço > livre implica em perda de desempenho, segundo a man page do tunefs(8) > e do newfs(8). Também tomei cuidado para manter o Soft Update, para > aumentar o desempenho. > > > João Rocha. > > > -- > "Sempre se apanha mais com as menores besteiras. Experiência própria." > > [EMAIL PROTECTED] > [EMAIL PROTECTED] > http://www.goffredo.eti.br > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Mais otimizações para squid.
On 9/15/06, Renato Botelho <[EMAIL PROTECTED]> wrote: > Joao Rocha Braga Filho escreveu: > > O HD IDE da Seagate de 250 GB pifou, e só com 2 meses e meio de uso > > no squid. Segundo o smartmontools, começou a dar erro de seek, e com > > isto os erros de ECC foram tão altos que deu a volta no contador. > > > > Agora estou instalando um novo HD. Aliás 2 novos. Um, para o sistema, > > é um HD da Samsung, que já conferi com o smartmontools que está bom, > > e o outro é um HD SATA da Seagate de 80 GB que tinha disponível, para o > > cache. > > > > Neste novo cache eu estabeleci alguns parâmetros novos para o file > > system. Limitei o cache do squid em 70 GB, já que o HD é de 80. E com > > isto o próprio squid dele limitar em 63 GB (90% do espaço concedido a > > ele). Aumentei o primeiro nível de diretórios de 16 para 32, e desconfio > > que a média de arquivos em cada diretório fique agora em cerca de 550, > > e ele fique abaixo do 5 milhões de arquivos (com 72 GB ocupados estava > > em cerca de 5.3 milhões). Com isto defini que a média de arquivos por > > diretório não deve ficar longe dos 550, e ainda criei quase 8 milhões de > > i-nodes. Baixei a reserva de 8% para 6%. > > > > newfs -U -O2 -i 10240 -m 8 -h 550 -g 14000 -o time /dev/ad5c > > > > Tomei o cuidado de não usar o espaço todo em disco, e permitir que o > > sistema de arquivos fique otimimizado para velocidade. Pouco espaço > > livre implica em perda de desempenho, segundo a man page do tunefs(8) > > e do newfs(8). Também tomei cuidado para manter o Soft Update, para > > aumentar o desempenho. > > Legal, só uma dúvida, usando em modo async você não ganharia desempenho > ao invés de soft-updates? Não muito mais, pois o Soft Update já adia as escritas, e mantendo a coerência, o que o async não faz. E como a Ampla é amplamente ruim em Paraty, mesmo com no-break APC não é bom arriscar com o async. João Rocha. > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- "Sempre se apanha mais com as menores besteiras. Experiência própria." [EMAIL PROTECTED] [EMAIL PROTECTED] http://www.goffredo.eti.br - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Mais otimizações para squid.
Joao Rocha Braga Filho escreveu: > O HD IDE da Seagate de 250 GB pifou, e só com 2 meses e meio de uso > no squid. Segundo o smartmontools, começou a dar erro de seek, e com > isto os erros de ECC foram tão altos que deu a volta no contador. > > Agora estou instalando um novo HD. Aliás 2 novos. Um, para o sistema, > é um HD da Samsung, que já conferi com o smartmontools que está bom, > e o outro é um HD SATA da Seagate de 80 GB que tinha disponível, para o > cache. > > Neste novo cache eu estabeleci alguns parâmetros novos para o file > system. Limitei o cache do squid em 70 GB, já que o HD é de 80. E com > isto o próprio squid dele limitar em 63 GB (90% do espaço concedido a > ele). Aumentei o primeiro nível de diretórios de 16 para 32, e desconfio > que a média de arquivos em cada diretório fique agora em cerca de 550, > e ele fique abaixo do 5 milhões de arquivos (com 72 GB ocupados estava > em cerca de 5.3 milhões). Com isto defini que a média de arquivos por > diretório não deve ficar longe dos 550, e ainda criei quase 8 milhões de > i-nodes. Baixei a reserva de 8% para 6%. > > newfs -U -O2 -i 10240 -m 8 -h 550 -g 14000 -o time /dev/ad5c > > Tomei o cuidado de não usar o espaço todo em disco, e permitir que o > sistema de arquivos fique otimimizado para velocidade. Pouco espaço > livre implica em perda de desempenho, segundo a man page do tunefs(8) > e do newfs(8). Também tomei cuidado para manter o Soft Update, para > aumentar o desempenho. Legal, só uma dúvida, usando em modo async você não ganharia desempenho ao invés de soft-updates? - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
[FUG-BR] Mais otimizações para squid.
O HD IDE da Seagate de 250 GB pifou, e só com 2 meses e meio de uso no squid. Segundo o smartmontools, começou a dar erro de seek, e com isto os erros de ECC foram tão altos que deu a volta no contador. Agora estou instalando um novo HD. Aliás 2 novos. Um, para o sistema, é um HD da Samsung, que já conferi com o smartmontools que está bom, e o outro é um HD SATA da Seagate de 80 GB que tinha disponível, para o cache. Neste novo cache eu estabeleci alguns parâmetros novos para o file system. Limitei o cache do squid em 70 GB, já que o HD é de 80. E com isto o próprio squid dele limitar em 63 GB (90% do espaço concedido a ele). Aumentei o primeiro nível de diretórios de 16 para 32, e desconfio que a média de arquivos em cada diretório fique agora em cerca de 550, e ele fique abaixo do 5 milhões de arquivos (com 72 GB ocupados estava em cerca de 5.3 milhões). Com isto defini que a média de arquivos por diretório não deve ficar longe dos 550, e ainda criei quase 8 milhões de i-nodes. Baixei a reserva de 8% para 6%. newfs -U -O2 -i 10240 -m 8 -h 550 -g 14000 -o time /dev/ad5c Tomei o cuidado de não usar o espaço todo em disco, e permitir que o sistema de arquivos fique otimimizado para velocidade. Pouco espaço livre implica em perda de desempenho, segundo a man page do tunefs(8) e do newfs(8). Também tomei cuidado para manter o Soft Update, para aumentar o desempenho. João Rocha. -- "Sempre se apanha mais com as menores besteiras. Experiência própria." [EMAIL PROTECTED] [EMAIL PROTECTED] http://www.goffredo.eti.br - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd