Re: [Python] Python, redis e bottleneck

2013-12-20 Per discussione Pietro Battiston
Il giorno gio, 19/12/2013 alle 14.53 +0100, Manlio Perillo ha scritto: > On 19/12/2013 12:52, Pietro Battiston wrote: > > [...] > > OK, ragionevole dubbio. Prendi _questo_ codice: > > > > import redis > > import random > > > > r = redis.Redis(db=0) > > > > try: > > while True: > > r[r

Re: [Python] Python, redis e bottleneck

2013-12-19 Per discussione Pietro Battiston
Il giorno gio, 19/12/2013 alle 14.06 +0100, Roberto De Ioris ha scritto: > > Il giorno gio, 19/12/2013 alle 13.07 +0100, Roberto De Ioris ha scritto: > >> >> > >> >> 2013/12/19 Pietro Battiston > >> > > >> > > >> >> [...] > >> >> > >> >> Io credo che ci possa essere relazione a come e' scritto il

Re: [Python] Python, redis e bottleneck

2013-12-19 Per discussione Manlio Perillo
On 19/12/2013 12:52, Pietro Battiston wrote: [...] OK, ragionevole dubbio. Prendi _questo_ codice: import redis import random r = redis.Redis(db=0) try: while True: r[random.random()] = random.random() except KeyboardInterrupt: r.flushdb() Consiglio: se vuoi prestazioni *

Re: [Python] Python, redis e bottleneck

2013-12-19 Per discussione Roberto De Ioris
> Il giorno gio, 19/12/2013 alle 13.07 +0100, Roberto De Ioris ha scritto: >> >> >> >> 2013/12/19 Pietro Battiston >> > >> > >> >> [...] >> >> >> >> Io credo che ci possa essere relazione a come e' scritto il codice. >> > >> > >> > OK, ragionevole dubbio. Prendi _questo_ codice: >> > >> > import

Re: [Python] Python, redis e bottleneck

2013-12-19 Per discussione Pietro Battiston
Il giorno gio, 19/12/2013 alle 13.07 +0100, Roberto De Ioris ha scritto: > >> > >> 2013/12/19 Pietro Battiston > > > > > >> [...] > >> > >> Io credo che ci possa essere relazione a come e' scritto il codice. > > > > > > OK, ragionevole dubbio. Prendi _questo_ codice: > > > > import redis > > impor

Re: [Python] Python, redis e bottleneck

2013-12-19 Per discussione Roberto De Ioris
>> >> 2013/12/19 Pietro Battiston > > >> [...] >> >> Io credo che ci possa essere relazione a come e' scritto il codice. > > > OK, ragionevole dubbio. Prendi _questo_ codice: > > import redis > import random > > r = redis.Redis(db=0) > > try: > while True: > r[random.random()] = rando

Re: [Python] Python, redis e bottleneck

2013-12-19 Per discussione Pietro Battiston
Il giorno gio, 19/12/2013 alle 11.14 +, enrico franchi ha scritto: > > > > 2013/12/19 Pietro Battiston > [...] > > Io credo che ci possa essere relazione a come e' scritto il codice. OK, ragionevole dubbio. Prendi _questo_ codice: import redis import random r = redis.Redis(db=0) try

Re: [Python] Python, redis e bottleneck

2013-12-19 Per discussione enrico franchi
2013/12/19 Antonio Cavallo > > Per ferro cosa intendi? I dischi o il database? Io intendo i dischi… i miei db sono software, quindi poco ferroso. In effetti, io intendevo proprio le macchine. Il concetto di gestirsi macchine fisiche in casa. > > > >> Redis è adatto in certi scenari ma non

Re: [Python] Python, redis e bottleneck

2013-12-19 Per discussione enrico franchi
2013/12/19 Pietro Battiston > > > Si, ma non guardare le lucine… usa dtrace/kprobes/systemtap, quello > > che va di moda ora sul tuo os. > > > Mi dirai tu se posso considerarmi abbastanza à la page, ma prima di > chiedere un consiglio in lista ho ovviamente fatto vari controlli con > iotop - ad e

Re: [Python] Python, redis e bottleneck

2013-12-19 Per discussione Carlo Miron
Il 19 dicembre 2013 01:05, Antonio Cavallo ha scritto:: > Comunque oramai i database sono tutti piu' o meno simili come > affidabilita'/velocita'/caratteristiche: e credimi MySQL e' robusto a > sufficienza. Non posso che essere in *completo* disaccordo, con entrambe le affermazioni. -- © 2013

Re: [Python] Python, redis e bottleneck

2013-12-18 Per discussione Antonio Cavallo
enrico franchi wrote: 2013/12/15 A. Cavallo mailto:a.cava...@cavallinux.eu>> Dipende tutto dalla mole di dati. Sopra 1T? Fino a diciamo 500Gb la soluzione più semplice è un disco sdd pcie, oramai costano sotto i 1000euri e puoi usare un DB tradizionale. Hei, ma invece di mante

Re: [Python] Python, redis e bottleneck

2013-12-18 Per discussione Pietro Battiston
Il giorno mer, 18/12/2013 alle 16.53 +, enrico franchi ha scritto: > > > > 2013/12/18 Pietro Battiston > > > OK, allora preciso: sono (ragionevolmente) certo che il > bottleneck non > sia il disco, neanche per motivi di latenza, non solo perché >

Re: [Python] Python, redis e bottleneck

2013-12-18 Per discussione enrico franchi
2013/12/18 Pietro Battiston > > OK, allora preciso: sono (ragionevolmente) certo che il bottleneck non > sia il disco, neanche per motivi di latenza, non solo perché il LED del > disco si illumina sporadicamente, ma soprattutto perché l'operazione di > decodifica dello stesso identico json _senza

Re: [Python] Python, redis e bottleneck

2013-12-18 Per discussione Pietro Battiston
Il giorno mer, 18/12/2013 alle 10.23 +0100, Nicola Larosa ha scritto: > Pietro Battiston wrote: > > l'I/O a cui stai pensando è quello tra CPU e RAM, giusto? > > Spero vivamente di no, per una preoccupazione meramente semantica. > OK, allora preciso: sono (ragionevolmente) certo che il bottlenec

Re: [Python] Python, redis e bottleneck

2013-12-18 Per discussione enrico franchi
2013/12/17 Pietro Battiston > Ma in generale sono dati estremamente semplici - in alcuni > casi ad ogni chiave è associata una breve stringa, in altri una lista di > brevi stringhe, in altri un piccolo dizionario i cui valori sono brevi > stringhe (insomma, tutti tipi perfettamente supportati da

Re: [Python] Python, redis e bottleneck

2013-12-18 Per discussione enrico franchi
2013/12/16 Enrico Bianchi > >> Per me stai continuando a sbagliare strumento. Redis e` un database > NoSQL di tipo key value con qualche struttura di gestione semplice del > dato, mentre tu parli di dizionari e JSON. Con queste premesse, e` molto > piu` conviente orientarsi su di un database di

Re: [Python] Python, redis e bottleneck

2013-12-18 Per discussione enrico franchi
2013/12/15 A. Cavallo > Dipende tutto dalla mole di dati. Sopra 1T? Fino a diciamo 500Gb la > soluzione più semplice è un disco sdd pcie, oramai costano sotto i 1000euri > e puoi usare un DB tradizionale. > Hei, ma invece di mantenersi tutto sto ferro non e' tipo utile usare qualcosa di più fle

Re: [Python] Python, redis e bottleneck

2013-12-18 Per discussione Nicola Larosa
Pietro Battiston wrote: > l'I/O a cui stai pensando è quello tra CPU e RAM, giusto? Spero vivamente di no, per una preoccupazione meramente semantica. -- Nicola Larosa - http://www.tekNico.net/ Where Python 2 lets you be sloppy, with its 8-bit strings that served as both data and ASCII strings,

Re: [Python] Python, redis e bottleneck

2013-12-18 Per discussione Pietro Battiston
Il giorno mer, 18/12/2013 alle 00.20 +0100, Enrico Bianchi ha scritto: > On 12/17/2013 04:37 PM, Pietro Battiston wrote: > > > Ad > > esempio un set di dati che utilizzo è la descrizione di una rete. Quindi > > la struttura base è un semplice dizionario > > > > { "elemento1" : ["elemento53", "el

Re: [Python] Python, redis e bottleneck

2013-12-17 Per discussione Enrico Bianchi
On 12/17/2013 04:37 PM, Pietro Battiston wrote: Ad esempio un set di dati che utilizzo è la descrizione di una rete. Quindi la struttura base è un semplice dizionario { "elemento1" : ["elemento53", "elemento114", "elemento54"], "elemento2" : ["elemento1", "elemento32"], ... } Io ho bisogn

Re: [Python] Python, redis e bottleneck

2013-12-17 Per discussione Pietro Battiston
Il giorno mar, 17/12/2013 alle 00.38 +0100, Enrico Bianchi ha scritto: > On 12/16/2013 01:22 PM, Pietro Battiston wrote: > > Nel mio scenario, se dovessi (costretto con le spalle al muro) > > sostituire Redis lo sostituirei con un dizionario Python, che potrebbe > > aumentare un po' l'efficienza, a

Re: [Python] Python, redis e bottleneck

2013-12-16 Per discussione Enrico Bianchi
On 12/16/2013 01:22 PM, Pietro Battiston wrote: Nel mio scenario, se dovessi (costretto con le spalle al muro) sostituire Redis lo sostituirei con un dizionario Python, che potrebbe aumentare un po' l'efficienza, a costo però di costringermi a legare i dati ad un processo specifico. Per me stai c

Re: [Python] Python, redis e bottleneck

2013-12-16 Per discussione Pietro Battiston
Il giorno dom, 15/12/2013 alle 22.24 +, A. Cavallo ha scritto: > Dipende tutto dalla mole di dati. Sopra 1T? Fino a diciamo 500Gb la > soluzione più semplice è un disco sdd pcie, oramai costano sotto i > 1000euri e puoi usare un DB tradizionale. > Redis è adatto in certi scenari ma non rimpiaz

Re: [Python] Python, redis e bottleneck

2013-12-15 Per discussione A. Cavallo
Dipende tutto dalla mole di dati. Sopra 1T? Fino a diciamo 500Gb la soluzione più semplice è un disco sdd pcie, oramai costano sotto i 1000euri e puoi usare un DB tradizionale. Redis è adatto in certi scenari ma non rimpiazza un DB (può in sempre usare un DB relazionale come nosql). Pietro Bat

[Python] Python, redis e bottleneck

2013-12-15 Per discussione Pietro Battiston
Salve a tutti, dopo l'ultima discussione in cui sono stato invitato a verificare se ci guadagnassi veramente qualcosa a mappare con oggetti le mie tabelle SQL, mi sono reso conto... che l'SQL era semplicemente lo strumento sbagliato per me. Ed ho scoperto redis. L'unico mio problema con redis è c