Re: [FUG-BR] ThunderCache - Curiosidade
2010/1/25 Neerlan Amorim neer...@gmail.com: Concordo com o Renato na questão do código fechado e ter que emular ambiente linux. Acho que o Patrick tinha mencionado que a proxima versão do Thunder ai ser nativo pra FreeBSD, estou aguardando para colocar em um servidor em produção. 2010/1/25 Renato Frederick freder...@dahype.org Particularmente não considero o thunder uma alternativa viável ainda... Emular linux, I/O de disco alto, etc Infelizmente se você quer obter economia de banda, no momento(continuo dizendo, em minha opinião), tem que partir para soluções caras e comerciais como ultraband por exemplo(que cito aqui porque já levantei valores e foi a única solução que é aceitável para médios provedores). Se bem que são caras mas o investimento se dilui com a economia de banda ao longo de anos. E falando em ultraband criaram uma versão mais leve que não exige NAS.. Claro, isto comparando com situações bem conhecidas como squid, que ativar transparent proxy(ou até TPROXY) em cima de bsd/linux é coisa de segundos e mesmo com tunning mal feito ou com ausência deste funciona até bem prá grande parte dos ISP. Outro detalhe, fechar o código só complicou, se bem que programa ter código aberto nunca foi sinônimo da dita comunidade ajudar... principalmente no Brasil. achar quem usa constantemente já escreveu 1 ou 2 linhas de código ou doou R$0,01 é raro. :) Para finalizar, O Thunder seria uma solução perfeita para embutir em um PFSENSE, iria deixar muito appliance comercial no chinelo, mas a exigência de emular linux + código proprietário deve quebrar a capacidade de empacotar. 2010/1/25 Rodrigo de Oliveira Gomes ak...@uol.com.br Patrick Tracanelli escreveu: Rodrigo de Oliveira Gomes escreveu: Pessoal, Primeiramente, agradeço a todos que ajudaram na empreitada de instalação do ThunderCache no meu ambiente. Graças a Deus está funcionando bem. Já consigo até visualizar os gráficos via web e tals. Meu ambiente ficou assim: Uma máquina proxy (FreeBSD 7.2 amd64, com 8 GB de memória) e uma Máquina Parent Cache (Pentium 4 3.2, FreeBSD 8.0 32bits, com 30 GB de disco para cache). Estou analisando o ambiente para saber como é o desempenho da ferramenta... Nesse momento, estou com algumas dúvidas em relação a quantidades... Vamos lá... Em menos de 4 horas meus usuários já acessaram aproximadamente 500 videos, somando um tamanho total de 1.5G. Alguém possui uma implementação do thundercache com milhares de arquivos em cache que possa falar sobre a agilidade do mesmo? Tipo, será que com 5 arquivos armazenados, a velocidade continua a mesma? O Banco suporta legal o crescimento? As consultas ficam rápidas? A entrega de arquivos do cache para o cliente continua eficiente? Novamente, muito obrigado por tudo! Atenciosamente, Rodrigo Gomes Akada, Todas as limitações em potencial que você está levantando, são do seu ambiente computacional, e não do Thunder, ou do Lusca. Se demorar para acessar os dados em disco, é gargalo de disco. Se houver limitações você faz upgrade de hardware ou separa o proxy em mais de uma máquina, o que for melhor pro seu ROI. Você pode tomar açoes como colocar em ZFS async, colocr async convencional, pra aumentar a performance. Pode intervir em tuning no FreeBSD, e afins. O Thunder, diferente do Squid, não fragmenta os arquivos e não os indexa em múltiplos diretorios. Então a performance pra acessar o sistema de arquivos é a performance que o sistema operacional te oferecer. Nem mais, nem menos. Outros subsistemas como memória, CPU e rede podem gerar outros gargalos, mas mais uma vez serão limitações do seu servidor, antes da aplicação. Aqui tenho um thunder com 1TB. Quantos arquivos tem? Não faço ideia ;) e é pesado demais mandar calcular. Mas no dia-a-dia o iostat indica picos de 2 L(q), o que é mais que aceitável. Os discos são SATA300 convencionais, rodando com VFS_AIO em kernel. O mesmo iostat e gstat indicam picos de 100% busy mas constantes de 40%-55% busy. Ou seja é ainda mais rápido buscar do disco que da Internet ;) E quando não for, RAID-5, discos SAS, RAID-Z, enfim ha opções pra melhor performance ;) O TC4 tem algumas melhorias nesse sentido (IO-read). Alem disso agora ele cacheia conteudo estatico o que demanda mesmo algum acesso a disco a mais. - Histórico: [1]http://www.fug.com.br/historico/html/freebsd/ Sair da lista: [2]https://www.fug.com.br/mailman/listinfo/freebsd Patrick, Boa tarde! Primeiramente, obrigado pela resposta :-) Alongando um pouco mais o assunto, tendo em vista seu conhecimento... :-) Estou com dois servidores distinto... um para o Youtube e outro para o Orkut. O do youtube está ok, sempre maiores problemas. Já o do orkut está com consumo alto de swap, por diversas vezes o cliente recebe uma mensagem de ERROR! na página e
Re: [FUG-BR] ThunderCache - Curiosidade
Principalmente suporte nativo a TPROXY, não dá para deixar centenas de clientes saindo com o mesmo IP, é transtorno demais, se tiver perfil de cliente que fica o dia todo em 4shared, megaupload e afins então... É o que estamos esperando aqui também. Embora haja relatos de sucesso em ambiente de produção, meu bom senso ainda manda esperar pelo modo nativo. Cleber -- .ılı..ılı. Observe as estrelas e aprenda com elas. Albert Einstein - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Em 26/01/10, Renato Frederick freder...@dahype.org escreveu: Principalmente suporte nativo a TPROXY, não dá para deixar centenas de clientes saindo com o mesmo IP, é transtorno demais, se tiver perfil de cliente que fica o dia todo em 4shared, megaupload e afins então... É o que estamos esperando aqui também. Embora haja relatos de sucesso em ambiente de produção, meu bom senso ainda manda esperar pelo modo nativo. Cleber -- .ılı..ılı. Observe as estrelas e aprenda com elas. Albert Einstein De alguem que esta acompanhando de longe essa thread... O TC deveria ser embutido no squid/lusca e não algo a parte (mais acls, mais processos, linux compat, etc, etc, etc). []´s Luiz - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Cleber Alves Nascimento escreveu: 2010/1/25 Neerlan Amorim neer...@gmail.com: Concordo com o Renato na questão do código fechado e ter que emular ambiente linux. Acho que o Patrick tinha mencionado que a proxima versão do Thunder ai ser nativo pra FreeBSD, estou aguardando para colocar em um servidor em produção. Sim, o TC4 é nativo para FreeBSD. Inclusive os desenvolvedores oferecerão ele da forma normal e em um release já integrado com FreeBSD (um LiveCD pronto para instalação). No entanto, mais que código fechado, o produto se torna comercial a partir dessa versão, para mais de 50 threads simultâneas - o que não é novidade pra quem acompanha o projeto[1]. De forma geral todas as limitações no TC3 estão sendo trabalhadas no 4, e isso inclui ToS mark, Tproxy, cache estatico e outros afins. O TC4 está também pronto pra rodar sem o Squid, quando for o caso. [1]http://www.biazus.com/forum/viewtopic.php?f=21t=1034start=30 - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Renato, você esta usando Squid ou Lusca para o T-Proxy ? -- Ricardo Nascimento Ferreira Analista de Segurança da Informação CISSP-DF Grupo de Estudos Modulo Certified Security Officer Solaris Certified System Administrator - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Pelo preço: Licença R$ 290,00 mesalidade R$ 80,00 Sinceramente, nem é tão caro. R$1250/ano é muito pouco pelo valor economizado de link e pela sensação de velocidade que o usuário vai ter. Incrível é gente chorando no fórum de pagar 80reais/mês sabe nem fazer conta de retorno de investimento :-) No entanto, mais que código fechado, o produto se torna comercial a partir dessa versão, para mais de 50 threads simultâneas - o que não é novidade pra quem acompanha o projeto[1]. De forma geral todas as limitações no TC3 estão sendo trabalhadas no 4, e isso inclui ToS mark, Tproxy, cache estatico e outros afins. O TC4 está também pronto pra rodar sem o Squid, quando for o caso. [1]http://www.biazus.com/forum/viewtopic.php?f=21t=1034start=30 - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Concordo contigo, Renato. :) 2010/1/26 Renato Frederick freder...@dahype.org Pelo preço: Licença R$ 290,00 mesalidade R$ 80,00 Sinceramente, nem é tão caro. R$1250/ano é muito pouco pelo valor economizado de link e pela sensação de velocidade que o usuário vai ter. Incrível é gente chorando no fórum de pagar 80reais/mês sabe nem fazer conta de retorno de investimento :-) No entanto, mais que código fechado, o produto se torna comercial a partir dessa versão, para mais de 50 threads simultâneas - o que não é novidade pra quem acompanha o projeto[1]. De forma geral todas as limitações no TC3 estão sendo trabalhadas no 4, e isso inclui ToS mark, Tproxy, cache estatico e outros afins. O TC4 está também pronto pra rodar sem o Squid, quando for o caso. [1]http://www.biazus.com/forum/viewtopic.php?f=21t=1034start=30 - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd -- Ricardo Nascimento Ferreira Analista de Segurança da Informação CISSP-DF Grupo de Estudos Modulo Certified Security Officer Solaris Certified System Administrator - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Ricardo, Uso os dois, atualmente ando instalando o Lusca que não precisa de aplicar patch no Makefile(só no /sys se for freebsd 7.x). -- From: Ricardo Nascimento Ferreira ricard...@gmail.com Sent: Tuesday, January 26, 2010 12:41 PM To: Lista Brasileira de Discussão sobre FreeBSD (FUG-BR) freebsd@fug.com.br Subject: Re: [FUG-BR] ThunderCache - Curiosidade Renato, você esta usando Squid ou Lusca para o T-Proxy ? -- Ricardo Nascimento Ferreira Analista de Segurança da Informação CISSP-DF Grupo de Estudos Modulo Certified Security Officer Solaris Certified System Administrator - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Patrick Tracanelli escreveu: Rodrigo de Oliveira Gomes escreveu: Pessoal, Primeiramente, agradeço a todos que ajudaram na empreitada de instalação do ThunderCache no meu ambiente. Graças a Deus está funcionando bem. Já consigo até visualizar os gráficos via web e tals. Meu ambiente ficou assim: Uma máquina proxy (FreeBSD 7.2 amd64, com 8 GB de memória) e uma Máquina Parent Cache (Pentium 4 3.2, FreeBSD 8.0 32bits, com 30 GB de disco para cache). Estou analisando o ambiente para saber como é o desempenho da ferramenta... Nesse momento, estou com algumas dúvidas em relação a quantidades... Vamos lá... Em menos de 4 horas meus usuários já acessaram aproximadamente 500 videos, somando um tamanho total de 1.5G. Alguém possui uma implementação do thundercache com milhares de arquivos em cache que possa falar sobre a agilidade do mesmo? Tipo, será que com 5 arquivos armazenados, a velocidade continua a mesma? O Banco suporta legal o crescimento? As consultas ficam rápidas? A entrega de arquivos do cache para o cliente continua eficiente? Novamente, muito obrigado por tudo! Atenciosamente, Rodrigo Gomes Akada, Todas as limitações em potencial que você está levantando, são do seu ambiente computacional, e não do Thunder, ou do Lusca. Se demorar para acessar os dados em disco, é gargalo de disco. Se houver limitações você faz upgrade de hardware ou separa o proxy em mais de uma máquina, o que for melhor pro seu ROI. Você pode tomar açoes como colocar em ZFS async, colocr async convencional, pra aumentar a performance. Pode intervir em tuning no FreeBSD, e afins. O Thunder, diferente do Squid, não fragmenta os arquivos e não os indexa em múltiplos diretorios. Então a performance pra acessar o sistema de arquivos é a performance que o sistema operacional te oferecer. Nem mais, nem menos. Outros subsistemas como memória, CPU e rede podem gerar outros gargalos, mas mais uma vez serão limitações do seu servidor, antes da aplicação. Aqui tenho um thunder com 1TB. Quantos arquivos tem? Não faço ideia ;) e é pesado demais mandar calcular. Mas no dia-a-dia o iostat indica picos de 2 L(q), o que é mais que aceitável. Os discos são SATA300 convencionais, rodando com VFS_AIO em kernel. O mesmo iostat e gstat indicam picos de 100% busy mas constantes de 40%-55% busy. Ou seja é ainda mais rápido buscar do disco que da Internet ;) E quando não for, RAID-5, discos SAS, RAID-Z, enfim ha opções pra melhor performance ;) O TC4 tem algumas melhorias nesse sentido (IO-read). Alem disso agora ele cacheia conteudo estatico o que demanda mesmo algum acesso a disco a mais. - Histórico: [1]http://www.fug.com.br/historico/html/freebsd/ Sair da lista: [2]https://www.fug.com.br/mailman/listinfo/freebsd Patrick, Boa tarde! Primeiramente, obrigado pela resposta :-) Alongando um pouco mais o assunto, tendo em vista seu conhecimento... :-) Estou com dois servidores distinto... um para o Youtube e outro para o Orkut. O do youtube está ok, sempre maiores problemas. Já o do orkut está com consumo alto de swap, por diversas vezes o cliente recebe uma mensagem de ERROR! na página e tals. Estou achando muito estranho o comportamento do servidor no que tange o site do orkut. Tens alguma idéia? Obrigado, Atenciosamente, Rodrigo Gomes References 1. http://www.fug.com.br/historico/html/freebsd/ 2. https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Patrick, tenho algumas dúvidas sobre o que você falou abaixo da montagem de discos do seu ThunderCache. Patrick, como você organizou o volume de 1Tb com os seus discos SATA para o thunder cache ? -- Ricardo Nascimento Ferreira Analista de Segurança da Informação CISSP-DF Grupo de Estudos Modulo Certified Security Officer Solaris Certified System Administrator - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Ricardo Nascimento Ferreira escreveu: Patrick, tenho algumas dúvidas sobre o que você falou abaixo da montagem de discos do seu ThunderCache. Patrick, como você organizou o volume de 1Tb com os seus discos SATA para o thunder cache ? Não organizei volume, nesse servidor mencionado é simplesmente um geom concat, mais nada. Disse que seria possivel colocar em RAID5 caso a performance se tornasse um gargalo ;) Ela não é hj. Apenas fiz RAID-0 e pronto, mesmo porque no setup em questão são 2 discos apenas. -- Patrick Tracanelli FreeBSD Brasil LTDA. Tel.: (31) 3516-0800 316...@sip.freebsdbrasil.com.br http://www.freebsdbrasil.com.br Long live Hanin Elias, Kim Deal! - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Patrick, Boa tarde! Primeiramente, obrigado pela resposta :-) Alongando um pouco mais o assunto, tendo em vista seu conhecimento... :-) Estou com dois servidores distinto... um para o Youtube e outro para o Orkut. O do youtube está ok, sempre maiores problemas. Já o do orkut está com consumo alto de swap, por diversas vezes o cliente recebe uma mensagem de ERROR! na página e tals. Estou achando muito estranho o comportamento do servidor no que tange o site do orkut. Tens alguma idéia? Obrigado, Atenciosamente, Rodrigo Gomes Rodrigo, sinceramente, se tem um dominio que ate agora não vi compensando foi o Orkut. Exceto orkut/small, o resto é completamente ineficiente em provedores. Em LAN House funciona melhor, afinal, outro perfil e o cache pode ser feito. Veja que não é o thunder que é ineficiente pra cachear orkut, é o ato de cachear orkut que é. Simplesmente porque raramente o conteúdo que uma pessoa ve de orkut a outra ve também. Isso posto, orkut exauri os recursos de TCP/IP, file descriptos, sessões e outros. Ou seja você tem que tunar pesado acima de tudo, TCP/IP, incluindo window size, de acordo com a sua máquina. Pode comecar jogando pra cima maxfilesperproc e maxfiles. Depois eleve tcp windowsize. Veja como se comporta, e va tunando. Natural Orkut detonar sua SWAP, são muitas instâncias do thunder simultaneas dependendo do seu perfil. O thunder é um daqueles caras top top pra enfiar metade do binário na SWAP sem dó e sem perder performance, no estilo FreeBSD. Então não se intimidade e aumente sua SWAP, so fara bem ao sistema. Thunder Cache + Squid seriam o exemplo perfeito pra Lesson11 do McKusick (System Tuning) FBSDKI-L11-system_tuning se o McKusick conhecesse o thunder hehe. É absurdo como se GANHA com a VM do FreeBSD rodando um servidor com esses 2 caras. -- Patrick Tracanelli FreeBSD Brasil LTDA. Tel.: (31) 3516-0800 316...@sip.freebsdbrasil.com.br http://www.freebsdbrasil.com.br Long live Hanin Elias, Kim Deal! - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
a unica coisa que eu acho falho do thunder.. e nao sei se foi corrigido... é o modo como ele armazena, tudo em uma pasta só.. com o tempo o seektime fica alto .. provocando a lentidão no acesso.. 2010/1/25 Patrick Tracanelli eks...@freebsdbrasil.com.br: Patrick, Boa tarde! Primeiramente, obrigado pela resposta :-) Alongando um pouco mais o assunto, tendo em vista seu conhecimento... :-) Estou com dois servidores distinto... um para o Youtube e outro para o Orkut. O do youtube está ok, sempre maiores problemas. Já o do orkut está com consumo alto de swap, por diversas vezes o cliente recebe uma mensagem de ERROR! na página e tals. Estou achando muito estranho o comportamento do servidor no que tange o site do orkut. Tens alguma idéia? Obrigado, Atenciosamente, Rodrigo Gomes Rodrigo, sinceramente, se tem um dominio que ate agora não vi compensando foi o Orkut. Exceto orkut/small, o resto é completamente ineficiente em provedores. Em LAN House funciona melhor, afinal, outro perfil e o cache pode ser feito. Veja que não é o thunder que é ineficiente pra cachear orkut, é o ato de cachear orkut que é. Simplesmente porque raramente o conteúdo que uma pessoa ve de orkut a outra ve também. Isso posto, orkut exauri os recursos de TCP/IP, file descriptos, sessões e outros. Ou seja você tem que tunar pesado acima de tudo, TCP/IP, incluindo window size, de acordo com a sua máquina. Pode comecar jogando pra cima maxfilesperproc e maxfiles. Depois eleve tcp windowsize. Veja como se comporta, e va tunando. Natural Orkut detonar sua SWAP, são muitas instâncias do thunder simultaneas dependendo do seu perfil. O thunder é um daqueles caras top top pra enfiar metade do binário na SWAP sem dó e sem perder performance, no estilo FreeBSD. Então não se intimidade e aumente sua SWAP, so fara bem ao sistema. Thunder Cache + Squid seriam o exemplo perfeito pra Lesson11 do McKusick (System Tuning) FBSDKI-L11-system_tuning se o McKusick conhecesse o thunder hehe. É absurdo como se GANHA com a VM do FreeBSD rodando um servidor com esses 2 caras. -- Patrick Tracanelli FreeBSD Brasil LTDA. Tel.: (31) 3516-0800 316...@sip.freebsdbrasil.com.br http://www.freebsdbrasil.com.br Long live Hanin Elias, Kim Deal! - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd -- Sds. Alexandre J. Correa Onda Internet http://www.onda.net.br IPV6 Ready !!! http://ipv6.onda.net.br - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Alexandre Correa escreveu: a unica coisa que eu acho falho do thunder.. e nao sei se foi corrigido... é o modo como ele armazena, tudo em uma pasta só.. com o tempo o seektime fica alto .. provocando a lentidão no acesso.. Comparado ao Squid, é sim. Foi o que eu disse no e-mail anterior... Ta tudo la, tuxado no diretorio. Ou seja ta tudo nas costas do FileSyste e do S.O. O thunder não alivia pro FS, tal qual um Servidor de Arquivos de grande porta e demanda. E quando o gargalo chegar tem-se sempre pra onde correr. Por isso uma das coisas a se monitorar le o L^(Q) do disco. 2010/1/25 Patrick Tracanelli eks...@freebsdbrasil.com.br: Patrick, Boa tarde! Primeiramente, obrigado pela resposta :-) Alongando um pouco mais o assunto, tendo em vista seu conhecimento... :-) Estou com dois servidores distinto... um para o Youtube e outro para o Orkut. O do youtube está ok, sempre maiores problemas. Já o do orkut está com consumo alto de swap, por diversas vezes o cliente recebe uma mensagem de ERROR! na página e tals. Estou achando muito estranho o comportamento do servidor no que tange o site do orkut. Tens alguma idéia? Obrigado, Atenciosamente, Rodrigo Gomes Rodrigo, sinceramente, se tem um dominio que ate agora não vi compensando foi o Orkut. Exceto orkut/small, o resto é completamente ineficiente em provedores. Em LAN House funciona melhor, afinal, outro perfil e o cache pode ser feito. Veja que não é o thunder que é ineficiente pra cachear orkut, é o ato de cachear orkut que é. Simplesmente porque raramente o conteúdo que uma pessoa ve de orkut a outra ve também. Isso posto, orkut exauri os recursos de TCP/IP, file descriptos, sessões e outros. Ou seja você tem que tunar pesado acima de tudo, TCP/IP, incluindo window size, de acordo com a sua máquina. Pode comecar jogando pra cima maxfilesperproc e maxfiles. Depois eleve tcp windowsize. Veja como se comporta, e va tunando. Natural Orkut detonar sua SWAP, são muitas instâncias do thunder simultaneas dependendo do seu perfil. O thunder é um daqueles caras top top pra enfiar metade do binário na SWAP sem dó e sem perder performance, no estilo FreeBSD. Então não se intimidade e aumente sua SWAP, so fara bem ao sistema. Thunder Cache + Squid seriam o exemplo perfeito pra Lesson11 do McKusick (System Tuning) FBSDKI-L11-system_tuning se o McKusick conhecesse o thunder hehe. É absurdo como se GANHA com a VM do FreeBSD rodando um servidor com esses 2 caras. -- Patrick Tracanelli FreeBSD Brasil LTDA. Tel.: (31) 3516-0800 316...@sip.freebsdbrasil.com.br http://www.freebsdbrasil.com.br Long live Hanin Elias, Kim Deal! - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd -- Patrick Tracanelli FreeBSD Brasil LTDA. Tel.: (31) 3516-0800 316...@sip.freebsdbrasil.com.br http://www.freebsdbrasil.com.br Long live Hanin Elias, Kim Deal! - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Particularmente não considero o thunder uma alternativa viável ainda... Emular linux, I/O de disco alto, etc Infelizmente se você quer obter economia de banda, no momento(continuo dizendo, em minha opinião), tem que partir para soluções caras e comerciais como ultraband por exemplo(que cito aqui porque já levantei valores e foi a única solução que é aceitável para médios provedores). Se bem que são caras mas o investimento se dilui com a economia de banda ao longo de anos. E falando em ultraband criaram uma versão mais leve que não exige NAS.. Claro, isto comparando com situações bem conhecidas como squid, que ativar transparent proxy(ou até TPROXY) em cima de bsd/linux é coisa de segundos e mesmo com tunning mal feito ou com ausência deste funciona até bem prá grande parte dos ISP. Outro detalhe, fechar o código só complicou, se bem que programa ter código aberto nunca foi sinônimo da dita comunidade ajudar... principalmente no Brasil. achar quem usa constantemente já escreveu 1 ou 2 linhas de código ou doou R$0,01 é raro. :) Para finalizar, O Thunder seria uma solução perfeita para embutir em um PFSENSE, iria deixar muito appliance comercial no chinelo, mas a exigência de emular linux + código proprietário deve quebrar a capacidade de empacotar. 2010/1/25 Rodrigo de Oliveira Gomes ak...@uol.com.br Patrick Tracanelli escreveu: Rodrigo de Oliveira Gomes escreveu: Pessoal, Primeiramente, agradeço a todos que ajudaram na empreitada de instalação do ThunderCache no meu ambiente. Graças a Deus está funcionando bem. Já consigo até visualizar os gráficos via web e tals. Meu ambiente ficou assim: Uma máquina proxy (FreeBSD 7.2 amd64, com 8 GB de memória) e uma Máquina Parent Cache (Pentium 4 3.2, FreeBSD 8.0 32bits, com 30 GB de disco para cache). Estou analisando o ambiente para saber como é o desempenho da ferramenta... Nesse momento, estou com algumas dúvidas em relação a quantidades... Vamos lá... Em menos de 4 horas meus usuários já acessaram aproximadamente 500 videos, somando um tamanho total de 1.5G. Alguém possui uma implementação do thundercache com milhares de arquivos em cache que possa falar sobre a agilidade do mesmo? Tipo, será que com 5 arquivos armazenados, a velocidade continua a mesma? O Banco suporta legal o crescimento? As consultas ficam rápidas? A entrega de arquivos do cache para o cliente continua eficiente? Novamente, muito obrigado por tudo! Atenciosamente, Rodrigo Gomes Akada, Todas as limitações em potencial que você está levantando, são do seu ambiente computacional, e não do Thunder, ou do Lusca. Se demorar para acessar os dados em disco, é gargalo de disco. Se houver limitações você faz upgrade de hardware ou separa o proxy em mais de uma máquina, o que for melhor pro seu ROI. Você pode tomar açoes como colocar em ZFS async, colocr async convencional, pra aumentar a performance. Pode intervir em tuning no FreeBSD, e afins. O Thunder, diferente do Squid, não fragmenta os arquivos e não os indexa em múltiplos diretorios. Então a performance pra acessar o sistema de arquivos é a performance que o sistema operacional te oferecer. Nem mais, nem menos. Outros subsistemas como memória, CPU e rede podem gerar outros gargalos, mas mais uma vez serão limitações do seu servidor, antes da aplicação. Aqui tenho um thunder com 1TB. Quantos arquivos tem? Não faço ideia ;) e é pesado demais mandar calcular. Mas no dia-a-dia o iostat indica picos de 2 L(q), o que é mais que aceitável. Os discos são SATA300 convencionais, rodando com VFS_AIO em kernel. O mesmo iostat e gstat indicam picos de 100% busy mas constantes de 40%-55% busy. Ou seja é ainda mais rápido buscar do disco que da Internet ;) E quando não for, RAID-5, discos SAS, RAID-Z, enfim ha opções pra melhor performance ;) O TC4 tem algumas melhorias nesse sentido (IO-read). Alem disso agora ele cacheia conteudo estatico o que demanda mesmo algum acesso a disco a mais. - Histórico: [1]http://www.fug.com.br/historico/html/freebsd/ Sair da lista: [2]https://www.fug.com.br/mailman/listinfo/freebsd Patrick, Boa tarde! Primeiramente, obrigado pela resposta :-) Alongando um pouco mais o assunto, tendo em vista seu conhecimento... :-) Estou com dois servidores distinto... um para o Youtube e outro para o Orkut. O do youtube está ok, sempre maiores problemas. Já o do orkut está com consumo alto de swap, por diversas vezes o cliente recebe uma mensagem de ERROR! na página e tals. Estou achando muito estranho o comportamento do servidor no que tange o site do orkut. Tens alguma idéia? Obrigado, Atenciosamente, Rodrigo Gomes References 1. http://www.fug.com.br/historico/html/freebsd/ 2. https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] ThunderCache - Curiosidade
Concordo com o Renato na questão do código fechado e ter que emular ambiente linux. Acho que o Patrick tinha mencionado que a proxima versão do Thunder ai ser nativo pra FreeBSD, estou aguardando para colocar em um servidor em produção. 2010/1/25 Renato Frederick freder...@dahype.org Particularmente não considero o thunder uma alternativa viável ainda... Emular linux, I/O de disco alto, etc Infelizmente se você quer obter economia de banda, no momento(continuo dizendo, em minha opinião), tem que partir para soluções caras e comerciais como ultraband por exemplo(que cito aqui porque já levantei valores e foi a única solução que é aceitável para médios provedores). Se bem que são caras mas o investimento se dilui com a economia de banda ao longo de anos. E falando em ultraband criaram uma versão mais leve que não exige NAS.. Claro, isto comparando com situações bem conhecidas como squid, que ativar transparent proxy(ou até TPROXY) em cima de bsd/linux é coisa de segundos e mesmo com tunning mal feito ou com ausência deste funciona até bem prá grande parte dos ISP. Outro detalhe, fechar o código só complicou, se bem que programa ter código aberto nunca foi sinônimo da dita comunidade ajudar... principalmente no Brasil. achar quem usa constantemente já escreveu 1 ou 2 linhas de código ou doou R$0,01 é raro. :) Para finalizar, O Thunder seria uma solução perfeita para embutir em um PFSENSE, iria deixar muito appliance comercial no chinelo, mas a exigência de emular linux + código proprietário deve quebrar a capacidade de empacotar. 2010/1/25 Rodrigo de Oliveira Gomes ak...@uol.com.br Patrick Tracanelli escreveu: Rodrigo de Oliveira Gomes escreveu: Pessoal, Primeiramente, agradeço a todos que ajudaram na empreitada de instalação do ThunderCache no meu ambiente. Graças a Deus está funcionando bem. Já consigo até visualizar os gráficos via web e tals. Meu ambiente ficou assim: Uma máquina proxy (FreeBSD 7.2 amd64, com 8 GB de memória) e uma Máquina Parent Cache (Pentium 4 3.2, FreeBSD 8.0 32bits, com 30 GB de disco para cache). Estou analisando o ambiente para saber como é o desempenho da ferramenta... Nesse momento, estou com algumas dúvidas em relação a quantidades... Vamos lá... Em menos de 4 horas meus usuários já acessaram aproximadamente 500 videos, somando um tamanho total de 1.5G. Alguém possui uma implementação do thundercache com milhares de arquivos em cache que possa falar sobre a agilidade do mesmo? Tipo, será que com 5 arquivos armazenados, a velocidade continua a mesma? O Banco suporta legal o crescimento? As consultas ficam rápidas? A entrega de arquivos do cache para o cliente continua eficiente? Novamente, muito obrigado por tudo! Atenciosamente, Rodrigo Gomes Akada, Todas as limitações em potencial que você está levantando, são do seu ambiente computacional, e não do Thunder, ou do Lusca. Se demorar para acessar os dados em disco, é gargalo de disco. Se houver limitações você faz upgrade de hardware ou separa o proxy em mais de uma máquina, o que for melhor pro seu ROI. Você pode tomar açoes como colocar em ZFS async, colocr async convencional, pra aumentar a performance. Pode intervir em tuning no FreeBSD, e afins. O Thunder, diferente do Squid, não fragmenta os arquivos e não os indexa em múltiplos diretorios. Então a performance pra acessar o sistema de arquivos é a performance que o sistema operacional te oferecer. Nem mais, nem menos. Outros subsistemas como memória, CPU e rede podem gerar outros gargalos, mas mais uma vez serão limitações do seu servidor, antes da aplicação. Aqui tenho um thunder com 1TB. Quantos arquivos tem? Não faço ideia ;) e é pesado demais mandar calcular. Mas no dia-a-dia o iostat indica picos de 2 L(q), o que é mais que aceitável. Os discos são SATA300 convencionais, rodando com VFS_AIO em kernel. O mesmo iostat e gstat indicam picos de 100% busy mas constantes de 40%-55% busy. Ou seja é ainda mais rápido buscar do disco que da Internet ;) E quando não for, RAID-5, discos SAS, RAID-Z, enfim ha opções pra melhor performance ;) O TC4 tem algumas melhorias nesse sentido (IO-read). Alem disso agora ele cacheia conteudo estatico o que demanda mesmo algum acesso a disco a mais. - Histórico: [1]http://www.fug.com.br/historico/html/freebsd/ Sair da lista: [2]https://www.fug.com.br/mailman/listinfo/freebsd Patrick, Boa tarde! Primeiramente, obrigado pela resposta :-) Alongando um pouco mais o assunto, tendo em vista seu conhecimento... :-) Estou com dois servidores distinto... um para o Youtube e outro para o Orkut. O do youtube está ok, sempre maiores problemas. Já o do orkut está com consumo alto de swap, por diversas vezes o cliente recebe uma mensagem de ERROR! na página e tals. Estou achando muito estranho o
Re: [FUG-BR] ThunderCache - Curiosidade
Rodrigo de Oliveira Gomes escreveu: Pessoal, Primeiramente, agradeço a todos que ajudaram na empreitada de instalação do ThunderCache no meu ambiente. Graças a Deus está funcionando bem. Já consigo até visualizar os gráficos via web e tals. Meu ambiente ficou assim: Uma máquina proxy (FreeBSD 7.2 amd64, com 8 GB de memória) e uma Máquina Parent Cache (Pentium 4 3.2, FreeBSD 8.0 32bits, com 30 GB de disco para cache). Estou analisando o ambiente para saber como é o desempenho da ferramenta... Nesse momento, estou com algumas dúvidas em relação a quantidades... Vamos lá... Em menos de 4 horas meus usuários já acessaram aproximadamente 500 videos, somando um tamanho total de 1.5G. Alguém possui uma implementação do thundercache com milhares de arquivos em cache que possa falar sobre a agilidade do mesmo? Tipo, será que com 5 arquivos armazenados, a velocidade continua a mesma? O Banco suporta legal o crescimento? As consultas ficam rápidas? A entrega de arquivos do cache para o cliente continua eficiente? Novamente, muito obrigado por tudo! Atenciosamente, Rodrigo Gomes Akada, Todas as limitações em potencial que você está levantando, são do seu ambiente computacional, e não do Thunder, ou do Lusca. Se demorar para acessar os dados em disco, é gargalo de disco. Se houver limitações você faz upgrade de hardware ou separa o proxy em mais de uma máquina, o que for melhor pro seu ROI. Você pode tomar açoes como colocar em ZFS async, colocr async convencional, pra aumentar a performance. Pode intervir em tuning no FreeBSD, e afins. O Thunder, diferente do Squid, não fragmenta os arquivos e não os indexa em múltiplos diretorios. Então a performance pra acessar o sistema de arquivos é a performance que o sistema operacional te oferecer. Nem mais, nem menos. Outros subsistemas como memória, CPU e rede podem gerar outros gargalos, mas mais uma vez serão limitações do seu servidor, antes da aplicação. Aqui tenho um thunder com 1TB. Quantos arquivos tem? Não faço ideia ;) e é pesado demais mandar calcular. Mas no dia-a-dia o iostat indica picos de 2 L(q), o que é mais que aceitável. Os discos são SATA300 convencionais, rodando com VFS_AIO em kernel. O mesmo iostat e gstat indicam picos de 100% busy mas constantes de 40%-55% busy. Ou seja é ainda mais rápido buscar do disco que da Internet ;) E quando não for, RAID-5, discos SAS, RAID-Z, enfim ha opções pra melhor performance ;) O TC4 tem algumas melhorias nesse sentido (IO-read). Alem disso agora ele cacheia conteudo estatico o que demanda mesmo algum acesso a disco a mais. - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
[FUG-BR] ThunderCache - Curiosidade
Pessoal, Primeiramente, agradeço a todos que ajudaram na empreitada de instalação do ThunderCache no meu ambiente. Graças a Deus está funcionando bem. Já consigo até visualizar os gráficos via web e tals. Meu ambiente ficou assim: Uma máquina proxy (FreeBSD 7.2 amd64, com 8 GB de memória) e uma Máquina Parent Cache (Pentium 4 3.2, FreeBSD 8.0 32bits, com 30 GB de disco para cache). Estou analisando o ambiente para saber como é o desempenho da ferramenta... Nesse momento, estou com algumas dúvidas em relação a quantidades... Vamos lá... Em menos de 4 horas meus usuários já acessaram aproximadamente 500 videos, somando um tamanho total de 1.5G. Alguém possui uma implementação do thundercache com milhares de arquivos em cache que possa falar sobre a agilidade do mesmo? Tipo, será que com 5 arquivos armazenados, a velocidade continua a mesma? O Banco suporta legal o crescimento? As consultas ficam rápidas? A entrega de arquivos do cache para o cliente continua eficiente? Novamente, muito obrigado por tudo! Atenciosamente, Rodrigo Gomes - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
