opa chefe se eu entendi, eu proponho o sequinte:
1- pega um lote de dados e manda pro Redis ou Riak ou SQLITE ou CSV ou qq coisa q vc consiga salvar e todas as apps possam ler. 2- faz tuas apps consumirem como se fosse uma fila, um por vez. Se quiser use mensageria. acho cafona. 3- implementa um timeout: se demorar 5 minutos o "dado" volta pra fila e vc reinicia a app la. veja se o Action::Retry nao resolve 4- faz dois "servers" (um é backup do outro, no sentido de "quem chegar primeiro vence") cuidarem da sincronia: sistema lento <-> cache rapido senão mete um timeout nas apps. se demorou demais o bloco "volta" pro sistema lento. melhor usar a primeira ideia, 2013/9/23 Marcio - Google <[email protected]> > Salve Mongers! > > Tenho uma tabela em MySql com algumas centenas de registros. > > Em alguns momentos tenho que "processar" esses registros da forma mais > rápida possível. > > O tempo de processamento de cada registro é de aproximadamente 4-5 > segundos, tempo esse alheio ao meu controle ou a minha vontade. > > Para agilizar, rodo várias vezes o mesmo app, e cada vez que ele sobe pega > um lote de registros. Para impedir que a próxima cópia do app a subir pegue > os mesmos registros, criei uma coluna a mais, e quando o app sobe ele > verifica se a coluna tá vazia, se tiver ele grava o PID dele. > > Está funcionando mais ou menos, exceto pelo fato que não gostei da forma > que ficou e de um efeito colateral. As vezes uma das cópias do app dá algum > erro e cai, só que os registros do lote dele ficam lá com o PID gravado na > coluna, então as outras cópias não mexem mais com esses registros e eles > ficam indefinidamente pendentes. > > Alguma dica de como fazer algo "mais elegante" e "seguro"? > > Para adiantar: > 1. Tem que ser MySql. Posso mexer na tabela a vontade. > 2. O processamento não tem como ser mexido. > > > [...]'s > > Marcio > > ======================================== > ########### Campanha Ajude o Marcio! ########### > http://sosmarcio.blogspot.com.br/ > http://www.vakinha.com.br/VaquinhaP.aspx?e=195793 > ======================================== > > =begin disclaimer > Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ > SaoPaulo-pm mailing list: [email protected] > L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> > =end disclaimer > > -- Tiago B. Peczenyj Linux User #405772 http://about.me/peczenyj
=begin disclaimer Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ SaoPaulo-pm mailing list: [email protected] L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> =end disclaimer
