El jue., 12 may. 2016 a las 10:51, Javier Sangalo (<jjsang...@gmail.com>) escribió:
> muchas gracias! > No tengo ningun problema en particular, tan solo que me hen hecho esa > pregunta y no estaba seguro de que responder jeje. > La diferencia entre trabajar con datos en memoria en lugar de en disco supone un factor multiplicativo de x200000. Con los nuevos discos SSD mejora bastante bajando a unos x10000. Vamos, que es muy recomendable tener todos los datos en memoria, aunque sea como matrices dispersas (sparse matrices), con el fin de operar más rápido sin pasar por disco. Tanto R como numpy tienen técnicas para optimizar el espacio ocupado en memoria. Pero no siempre es la mejor opción. A veces tu datos vienen como streams de datos desde algún servidor web o desde algún nodo de la base de datos. En estos casos, los tiempos invertidos en traerte los datos pueden ser mucho mayor que el que inviertes escribiendo/leyendo del disco local, con lo que puedes usar el disco como almacenamiento secundario para liberar RAM. Es en parte lo que hace Hadoop para poder procesar colecciones de datos enormes (aunque luego venga Spark y pulverize los tiempos de proceso cacheándolo todo en RAM). Una comparativa tecnológica e histórica de los tiempos de latencia: https://gist.github.com/jboner/2841832 http://www.eecs.berkeley.edu/~rcs/research/interactive_latency.html > > El 12 de mayo de 2016, 10:40, Kiko <kikocorre...@gmail.com> escribió: > >> >> El 12 de mayo de 2016, 10:23, Javier Sangalo <jjsang...@gmail.com> >> escribió: >> >>> Buenos días, >>> >>> Me surge una duda, R trabaja en memoria con el inconveniente que tiene >>> si no dispones de suficiente memoria ram, pero...y Python? trabaja de la >>> misma forma? >>> >>> >> Sí. R, Python y el resto del universo. Tendrás que encargarte de >> gestionar la memoria. Hay formas más o menos eficientes de hacerlo. Si >> describes un poco mejor tu problema relacionado con Python quizá te puedan >> ofrecer mejor ayuda. >> >> >>> Gracias! >>> >>> _______________________________________________ >>> Python-es mailing list >>> Python-es@python.org >>> https://mail.python.org/mailman/listinfo/python-es >>> FAQ: http://python-es-faq.wikidot.com/ >>> >>> >> >> _______________________________________________ >> Python-es mailing list >> Python-es@python.org >> https://mail.python.org/mailman/listinfo/python-es >> FAQ: http://python-es-faq.wikidot.com/ >> >> > _______________________________________________ > Python-es mailing list > Python-es@python.org > https://mail.python.org/mailman/listinfo/python-es > FAQ: http://python-es-faq.wikidot.com/ > -- Hyperreals *R "Quarks, bits y otras criaturas infinitesimales": http://ch3m4.org/blog
_______________________________________________ Python-es mailing list Python-es@python.org https://mail.python.org/mailman/listinfo/python-es FAQ: http://python-es-faq.wikidot.com/
