Re: [FUG-BR] Interface de rede perdendo pacotes UDP

2017-05-08 Por tôpico Eduardo Schoedler 
Em 8 de maio de 2017 14:27, Otacílio  escreveu:
> Que bloqueia o processo até que o socket esteja pronto para receber mais
> pacotes. Acontece que embora tenha melhorado um pouco, a perda de pacotes
> ainda existe e do que vi na Internet o problema é que está enchendo os
> buffers do sistema antes dele poder enviar. A solução que vi sugerida é
> aumentar o tamanho do buffer do sistema.
>
> Alguém já passou por experiência semelhante ou pode me dizer quais são os
> parâmetros que devo configurar?

Tive um problema parecido com um servidor dns recursivo (unbound).

Tente aumentar:
sysctl -w kern.ipc.maxsockbuf=26214400


Referência:
[1] 
https://access.redhat.com/documentation/en-US/JBoss_Enterprise_Web_Platform/5/html/Administration_And_Configuration_Guide/jgroups-perf-udpbuffer.html
[2] https://wiki.freebsd.org/NetworkPerformanceTuning


Abs.

-- 
Eduardo Schoedler
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

[FUG-BR] Dúvida resource limits (rctl) e jails

2017-05-08 Por tôpico Tiago Ribeiro 
Estou fazendo uns testes com rctl e jail, porém conforme vi no man do
rctl e em outras buscas o retorno que estou tendo é bem diferente.

Estou usando 11-RELEASE-p9 e fiz o comando para limitar o uso de cpu
(pcpu) a 25% e memória a 1gb, se uso o comando rctl puro me mostra 
os valores setados

# rctl 
jail:db.local:pcpu:deny=25
jail:db.local:memoryuse:deny=1073741824

Porém quando uso o uso dos recursos do objeto, o comando mostra
toda zerado.

# rctl -hu jail:db.local
cputime=0
datasize=0
stacksize=0
coredumpsize=0
memoryuse=0
memorylocked=0
maxproc=0
openfiles=0
vmemoryuse=0
pseudoterminals=0
swapuse=0
nthr=0
msgqqueued=0
msgqsize=0
nmsgq=0
nsem=0
nsemop=0
nshm=0
shmsize=0
wallclock=0
pcpu=0
readbps=0
writebps=0
readiops=0
writeiops=0

Estou entendendo errado ou fazendo algo errado no rctl?


—
http://www.bsdjf.com.br

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

[FUG-BR] Interface de rede perdendo pacotes UDP

2017-05-08 Por tôpico Otacílio 

Olá pessoal

Olhe só este cenário. Desenvolvi um software de streaming de vídeo em 
tempo real para uso próprio. O software hoje é capaz de transmitir o 
vídeo com os quadros codificados em H264, MPEG2, como sequencias de 
imagens MJPEG e em formato "raw" YUYV422. O software está usando UDP no 
canal de dados e TCP no de controle. Ele faz a quebra dos quadros em 
vários pacotes UDP e a remontagem e reordenação nos clientes. Acontece 
que venho percebendo que nas situações em que o fluxo de vídeo é alto 
(gerando então vários pacotes), como em resoluções altas ou quadros 
MJPEG e YUYV422 a interface de rede está perdendo os pacotes e 
obviamente eu preciso descartar os quadros incompletos no cliente. 
Entendi então que eu estava enviando os pacotes antes da interface 
mandar para a outra ponta e isto estaria forçando a interface a 
descartar os pacotes. Escrevi então esta rotina:


void waitSocketAvail(int socket)
{
static int primeiro = 1;
static fd_set writefds[FD_SETSIZE];
int desP;

if(primeiro==1){
FD_ZERO(writefds);
primeiro = 0;
}

for(;;){
FD_SET(socket, writefds);
desP = select(socket+1, NULL, writefds, NULL, NULL);
if(desP>=0 || errno!=EINTR)
break;
}
FD_CLR(socket, writefds);
}

Que bloqueia o processo até que o socket esteja pronto para receber mais 
pacotes. Acontece que embora tenha melhorado um pouco, a perda de 
pacotes ainda existe e do que vi na Internet o problema é que está 
enchendo os buffers do sistema antes dele poder enviar. A solução que vi 
sugerida é aumentar o tamanho do buffer do sistema.


Alguém já passou por experiência semelhante ou pode me dizer quais são 
os parâmetros que devo configurar?


[]'s

-Otacílio

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Migrando do FreeBSD 9.3 para 11

2017-05-08 Por tôpico Paulo Henrique 
Em 8 de maio de 2017 11:03, Renato Frederick 
escreveu:

> Em 8 de maio de 2017 08:26, Renato Botelho  escreveu:
>
> > On 05/05/17 20:31, Renato Frederick wrote:
> > > Em 3 de maio de 2017 17:46, Renato Botelho 
> escreveu:
> > >
> > >> On 03/05/17 16:39, Edinilson - ATINET wrote:
> > >>> On 03/05/17 16:11, Edinilson - ATINET wrote:
> >  On 03/05/17 14:29, Edinilson - ATINET wrote:
> > > Caros amigos, alguém já fez o upgrade do FreeBSD 9.3 para o 11?
> > >
> > > Se sim, poderia compartilhar a experiencia?
> > >
> > > Você usa 9.3-RELEASE ou 9.3-STABLE?
> > > Quer atualizar via src ou via freebsd-update?
> > > --
> > > Renato Botelho
> > >
> >
> > Ah sim, eu não compilo mais nada em servidores há muito tempo. Só uso
> pkgs.
> >
> > Se o ambiente pede pkgs com OPTIONS diferentes eu monto um poudriere e
> > ele gera meus repositórios automaticamente.
> >
>
> Pois é, xará, compilar não é vida não. Já foi a época que eu compilava
> QMAIL, antispam, blá blá. lembro de fazer no início no SLACKWARE, que nem
> ports tinha. Isso em Pentium, ou se o cliente era milionário, Pentium
> Pro...
>
> Hoje ou eu coloco um pfsense se for prá fazer qualquer coisa de
> firewall/router/etc ou instalo o bsd e adquiro programas com instalador que
> a licença é barata, se for prá serviço de email.
>
> Acho que a única coisa que eu deixo instalando é se for o DJBDNS, pois não
> trabalho com bind, mas não aceitar IPv6 parou no tempo
>
>
>
> Renato Frederick
> Consultor em TI
> http://about.me/renatofrederick
> Skype: renatofrederick
> +55 31 99123 - 3006
> +55 31 2523 - 0686
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>

Nada contra quanto as descisões por utilizar software/solução de caixinha.
Concordo que quando a coisa é simples, um firewall/proxy/snort ( com regras
open-source ) a praticidade e a interface torna o PFSense uma excelente
escolha., um Storage com recursos triviais faz o FreeNAS ser uma ótima
solução, nesse caso creio que é uma solução que se supera, o nivel de
otimização e recursos do mesmo é imcomparavel mesmo para o FreeBSD puro.

Quando se volta a atenção para uma necessidade onde o fator custo é critica
(instituição publica ou educacional) e o fator segurança também é critica o
que resta é apelar para o open-source em um comodity hardware, recentemente
li a utilização do BRO ( NMS ) filtrando 100GB/s de tráfego em uma
universidade do EUA, uma solução de IDS/IPS/NMS com caixinha fechada era
inviável devido aos elevados custos tanto com a caixa como com o
licenciamento das soluções, gastaram com o hardware somente e construiram a
própria solução que está atendendo-os a uma fração do custo do proprietário

Não é uma solução prática de trabalhar, requer dos administratores uma dose
significativa de esforço e competência técnica, além de estarem quase fora
de capacidade de suporte pela comunidade quanto a potenciais problemas,
incluindo ai a ausência ou dificuldade de se contratar um suporte comercial
e a instituição ficar refém de dois ou três caras, são pontos que vale a
pena discutir e determinar se o projeto/instituição terá problemas com elas.

Há outros cenários onde compilar o kernel/world/ports ainda tem algumas
vantagens, seja para ativar recursos ou otimizar a capacidade
computacional, como roteador de borda, a 4 anos atrás quando se falavam em
mais de 2.5Gb/s de trafego e 1Mpps a adoção de soft-routers automaticamente
já era condenada, porém hoje há inumeros relatos de soft-router sobre
FreeBSD/Linux comutando 5Gb/s com mais de 2Mpps com várias sessões BGP
full-router.
Servidores de front-end de portais de internet com quantidade de acessos
muito grandes também requer uma ótimização mais fina do sistema, afinal o
Whatsapp só consegue manter a estabilidade/disponibilidade dele para a base
de usuários deles com custos realmente baixo devido as otimizações
realizadas no sistema, ( a disponibilidade nem tanto pois teve um galho
semana passada, mas sem qualquer explicação para compreendermos ).

O encaixotamento de solução por parte dos fornecedores de software faz mais
mal a comunidade open-source do que bem, não é atoa que nos ultimos anos a
capacitação técnica dos profissionais Linux/Unix que entram no mercado são
medonhos, profissionais com LPI1/2 que nunca compilaram um kernel linux,
felizmente ainda não é o caso da BSDA, profissionais de redes que só usam o
linux X ou Y por que se mudar a distribuição não sabem nem por onde
começar, isso quando utilizam linux, pois já vi CCNA que só sabia usar
Windows.

Quando presto um serviço na implantação de um servidor/serviço em uma
empresa, tenho por obrigação otimizar ao máximo e garantir a maior
estabilidade do sistema que estou sendo pago para implantar, se a descisão
é por uma solução open-source, irei otimizar tudo o que for possivel,
ativar tudo que é

Re: [FUG-BR] PHPBB no AWS Market Place.

2017-05-08 Por tôpico Renato Frederick 
>
>
> Na mosca, Renato.
> Eu vim do Debian pro FreeBSD e não volto atrás, .
> O que percebo por aí é que muito se fala em Linux e o pessoal não conhece
> o FreeBSD.
> Por exemplo, no AWS Experience, Linux pra cá, Linux pra lá, e nada de
> FreeBSD.
> Eu gostaria de saber o porquê disso.
> Então a idéia é exatamente essa, disseminar o FreeBSD!
>
>
> --
> Best regards;
> Adiel de Lima Ribeiro
> AWS Certified Solutions Architect
> Specialist in Linux Network Administration
> Microsoft Certified Systems Administrator
> +55 (31) 98961-5984
> http://consultoriaemti.com/


Marketing ué, quando começou no Brasil aquele conectiva linux, que prometia
resolver todos os problemas do mundo e ser gratuito, ao invés de pagar
dinheiro à cruel Microsoft, as empresas ficaram doidas, começaram a vender
treinamento linux, consultoria
Eu mesmo meu primeiro emprego como estagiário foi na componente que era
parceiro da conectiva, mas lá dentro tudo era BSD :)
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Migrando do FreeBSD 9.3 para 11

2017-05-08 Por tôpico Renato Frederick 
Em 8 de maio de 2017 08:26, Renato Botelho  escreveu:

> On 05/05/17 20:31, Renato Frederick wrote:
> > Em 3 de maio de 2017 17:46, Renato Botelho  escreveu:
> >
> >> On 03/05/17 16:39, Edinilson - ATINET wrote:
> >>> On 03/05/17 16:11, Edinilson - ATINET wrote:
>  On 03/05/17 14:29, Edinilson - ATINET wrote:
> > Caros amigos, alguém já fez o upgrade do FreeBSD 9.3 para o 11?
> >
> > Se sim, poderia compartilhar a experiencia?
> >
> > Você usa 9.3-RELEASE ou 9.3-STABLE?
> > Quer atualizar via src ou via freebsd-update?
> > --
> > Renato Botelho
> >
>
> Ah sim, eu não compilo mais nada em servidores há muito tempo. Só uso pkgs.
>
> Se o ambiente pede pkgs com OPTIONS diferentes eu monto um poudriere e
> ele gera meus repositórios automaticamente.
>

Pois é, xará, compilar não é vida não. Já foi a época que eu compilava
QMAIL, antispam, blá blá. lembro de fazer no início no SLACKWARE, que nem
ports tinha. Isso em Pentium, ou se o cliente era milionário, Pentium
Pro...

Hoje ou eu coloco um pfsense se for prá fazer qualquer coisa de
firewall/router/etc ou instalo o bsd e adquiro programas com instalador que
a licença é barata, se for prá serviço de email.

Acho que a única coisa que eu deixo instalando é se for o DJBDNS, pois não
trabalho com bind, mas não aceitar IPv6 parou no tempo



Renato Frederick
Consultor em TI
http://about.me/renatofrederick
Skype: renatofrederick
+55 31 99123 - 3006
+55 31 2523 - 0686
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Migrando do FreeBSD 9.3 para 11

2017-05-08 Por tôpico Tiago Ribeiro 
Via src, quando foi do 9.3 para o 10.3 no primeiro reboot tive problemas,
mas se tiver acesso ao console faz um make installworld e segue o caminho
que vai bem, já do 10.3 para o 11.0 tudo correu sem problemas.

—
http://www.bsdjf.com.br

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Migrando do FreeBSD 9.3 para 11

2017-05-08 Por tôpico Renato Botelho 
On 05/05/17 20:31, Renato Frederick wrote:
> Em 3 de maio de 2017 17:46, Renato Botelho  escreveu:
> 
>> On 03/05/17 16:39, Edinilson - ATINET wrote:
>>> On 03/05/17 16:11, Edinilson - ATINET wrote:
 On 03/05/17 14:29, Edinilson - ATINET wrote:
> Caros amigos, alguém já fez o upgrade do FreeBSD 9.3 para o 11?
>
> Se sim, poderia compartilhar a experiencia?
>
> Você usa 9.3-RELEASE ou 9.3-STABLE?
> Quer atualizar via src ou via freebsd-update?
> --
> Renato Botelho

 Caro Renato, está na 9.3-STABLE.
 Acreditava que seria mais fácil pelo src, pois iria seguir +- as dicas
 deste link [1].

 Porém, após o relato do Paulo Henrique, acho que vou partir para
 instalar tudo do zero, pois estou com medo de criar um "frankenstein".


 O que acha?
>>>
 Eu tenho servidores que foram instalados no 5.x e estão no 11 hoje. Já
 mudaram de hardware mais de uma vez e eu nunca refiz a instalação.

 Mas é claro que cada caso é um caso e você deve fazer da forma que se
 sentir mais confortável.

 Uma outra coisa importante a se levar em conta é, você usa pacotes
 binários instalados via pkg ou usa tudo compilado via ports?
 Renato Botelho
>>>
>>> Esse 9.3 foi migrado do 8. Não lembro, na época, de ter tido maiores
>>> problemas MAS, nesse caso, não houveram mudanças no compilador.
>>>
>>> Sempre instalo compilado via ports
>>>
>>> Vou gerar uma imagem do HD e fazer um teste. Se tudo correr bem, até
>>> posto aqui na lista o resultado.
>>>
>>> Por enquanto, muito obrigado a todos.
>>
>> Nesse caso o que eu sempre adotei como prática foi:
>>
>> - Atualiza direto do 9.3 pro 10.3
>>   - make buildworld buildkernel
>>   - make installkernel
>>   - reboot
>>   - make installworld
>>   - mergemaster
>>   - reboot
>> - Instala o port misc/compat9x pra garantir que não faltarão libs
>> antigas pros binários
>> - Atualiza os ports (nesse caso esse é o ponto ideal pq o 9.x não tem
>> mais suporte na árvore do ports e pode dar zica)
>> - yes | make delete-old delete-old-libs
>> - Remove o misc/compat9x
>> - Atualiza pro 11 seguindo os mesmos passos
>> - Recompila todos os ports antes de rodar o make delete-old delete-old-libs
>>
>> []s
>> [
> 
> 
> Olha, se estiver pensando em custo por hora, dependendo do que a máquina
> faz, se não é nada que foi muito personalizado, mais rápido instalar do
> zero e depois instalar ports/pkg e os .conf do que ela usa.
> 
> Pois, deixar compilando ZzZZZzzZZ, eu vejo um
> desperdício do meu tempo e vai ficar caro pro cliente.

Ah sim, eu não compilo mais nada em servidores há muito tempo. Só uso pkgs.

Se o ambiente pede pkgs com OPTIONS diferentes eu monto um poudriere e
ele gera meus repositórios automaticamente.

-- 
Renato Botelho
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd