2014-11-19 7:08 GMT+00:00 Marco Ippolito ippolito.ma...@gmail.com:
Ora mi resta da capire se c'è un modo per velocizzare l'inserimento
delle colonne nella matrice (10 mila colonne in 13 minuti))
Dipende da dove peschi i dati...
--
.
..: -enrico-
Ciao a tutti,
oltre a ringraziarvi di nuovo per i vostri utili consigli, volevo
dirvi che, usando h5py sono riuscito ad inserire, per prova, 10mila
colonne in una matrice vuota, con una occupazione di spazio pari
a.44 K!!!
Il che significa che 1 matrice con 1 milione di colonne, occuperà 4 Mb
Ciao a tutti,
ho letto che per creare una matrice numpy di grosse dimensioni è più
opportuno creare una matrice vuota, e poi riempirla progressivamente.
Ora, la creazione di una matrice vuota non mi crea problemi, mentre la
sua compressione, ho verificato avere dei limiti di dimensione.
con
2014-11-17 10:17 GMT+01:00 Marco Ippolito ippolito.ma...@gmail.com:
OverflowError: size does not fit in an int
Non conosco Numy m l'errore mi sembra chiaro: cerchi di mettere in una
variabile di tipo integer un valore troppo grande. Ora non so dirti pero'
se sia una cosa della libreria
Ciao,
Il 17/11/2014 10:17, Marco Ippolito ha scritto:
-rw-rw-r-- 1 marco marco 2,0G nov 17 09:56 X_Matrix
-rw-rw-r-- 1 marco marco 2,0M nov 17 09:57 X_Matrix.gz
[snip]
Traceback (most recent call last):
File ./matr_init_pickling.py, line 131, in module
gzipping.get_zipped()
Grazie Carlo,
mi hai dato un ottimo spunto per indagare un altro aspetto (prima
nella descrizione del problema non ho riportato, mea culpa, che la
matrice vuota di grosse dimensioni, viene creata e poi viene fatta
serializzata con pickle). Successivamente la gzippo.
Quello che dice Riccardo, che
2014-11-17 10:38 GMT+01:00 Marco Ippolito ippolito.ma...@gmail.com:
Faccio due prove e poi vi dico come ho risolto il problema.
Si dai che e' interessante come cosa in se.
Carlos
--
EZLN ... Para Todos Todo ...
___
Python mailing list
On 2014-11-17 09:38, Marco Ippolito wrote:
Grazie Carlo,
mi hai dato un ottimo spunto per indagare un altro aspetto (prima
nella descrizione del problema non ho riportato, mea culpa, che la
matrice vuota di grosse dimensioni, viene creata e poi viene fatta
serializzata con pickle).
On 17/nov/2014, at 12:17, Daniele Varrazzo p...@develer.com wrote:
On 2014-11-17 09:38, Marco Ippolito wrote:
Grazie Carlo,
mi hai dato un ottimo spunto per indagare un altro aspetto (prima
nella descrizione del problema non ho riportato, mea culpa, che la
matrice vuota di grosse
Ciao Daniele e ciao Valerio,
si ho letto che numpy.save dovrebbe essere un metodo più efficiente.
Resta da capire allora come mai i tipi di Theano:
http://deeplearning.net/tutorial/gettingstarted.html
usano e consigliano il formato pickle.
Marco
Il 17 novembre 2014 12:29, Valerio Maggio
2014-11-17 11:32 GMT+00:00 Marco Ippolito ippolito.ma...@gmail.com:
Resta da capire allora come mai i tipi di Theano:
http://deeplearning.net/tutorial/gettingstarted.html
usano e consigliano il formato pickle.
1. Cerca se da qualche parte lo spiegano (il perche' *loro* lo consigliano
puo'
Ciao Enrico,
se ti riferisci a questo: http://www.pytables.org/moin
mi sembra una cosa molto interessante...devo indagare, provare e testare.
Ti ringrazio.
Marco
___
Python mailing list
Python@lists.python.it
2014-11-17 11:43 GMT+00:00 Marco Ippolito ippolito.ma...@gmail.com:
se ti riferisci a questo: http://www.pytables.org/moin
Quello e' uno dei due strumenti che suggerivo di guardare. Guardati anche
l'altro (se cerchi su google il nome che ti ho dato ci si arriva)
.
..: -enrico-
Ho trovato anche questo: http://www.h5py.org/ che, dalle prime righe
descrittive (The h5py package is a Pythonic interface to the HDF5
binary data format.
It lets you store huge amounts of numerical data, and easily
manipulate that data from NumPy)
sembra proprio fare al caso mio, per cui dopo ne
PS: ho fatto variegate prove con zip64 ma mi ha dato sempre errore
(penso di sintassi usata):
https://docs.python.org/2/library/zipfile.html#zipfile-objects
http://pymotw.com/2/zipfile/
http://bioportal.weizmann.ac.il/course/python/PyMOTW/PyMOTW/docs/zipfile/index.html
io ho messo allowZip64=True
Il
Sent from my iPad
On 17/nov/2014, at 12:39, enrico franchi enrico.fran...@gmail.com wrote:
2014-11-17 11:32 GMT+00:00 Marco Ippolito ippolito.ma...@gmail.com:
Resta da capire allora come mai i tipi di Theano:
http://deeplearning.net/tutorial/gettingstarted.html
usano e consigliano
On 2014-11-17 12:05, Marco Ippolito wrote:
Per ora grazie ai tutti i vostri input ho risolto temporaneamente la
cosa, usando numpy.save (1/4 della dimensione iniziale).
...e numpy.save non e' neanche compresso...
-- Daniele
___
Python mailing list
qui c'è qualche bozza di spiegazione del perchè usano e consigliano pickle.
Alla luce della scarsa efficienza di pickle rispetto al formato
proprietario numpy, non mi sembrano, a mio parere (da poco esperto),
motivazioni forti.
Voi cosa ne pensate?
2014-11-17 15:32 GMT+00:00 Marco Ippolito ippolito.ma...@gmail.com:
Alla luce della scarsa efficienza di pickle rispetto al formato
proprietario numpy, non mi sembrano, a mio parere (da poco esperto),
motivazioni forti.
Il formato di numpy non ha nulla di proprietario.
Per inciso, *io* non
Mille grazie Enrico.
Altra cosa interessante
Marco
___
Python mailing list
Python@lists.python.it
http://lists.python.it/mailman/listinfo/python
20 matches
Mail list logo
