Re: [R-es] Cargar csv de 16GB en R

Wed, 04 Jun 2014 11:14:35 -0700 

No se mucho al respecto, pero que yo sepa quien gestiona el uso de los
recursos del computador es el sistema operativo, asi es que R deberia
ser capaz de usar la memoria virtual (swap) de un sistema UNIX/Linux,
por ejemplo,

con esto el tamaño de la RAM no deberia ser una limitante ya que siemore
puedes hacer una swap tan grande como necesites, teoricamente ... pero
la velocidad de acceso al disco duro es cientos de veces inferior a la
RAM, asi es que seguro hay que hechar a andar el script y llevarse un
buen libro o varias revistas de puzzles ...

para subsanar un poco este problema, si se opta por usar un sistema
Linux con swap y el archivo es de 16 GB, yo sugeriria hacer una swap
sobre una tarjeta microSDHC clase 10 (es importante que sea clase 10
porque define la velocidad de lectura/escritura) de 32 GB, con esto
deberias ahorrar bastante tiempo de ejecucion al script

eso si, cuanto tiempo ahorraras con la swap en la tarjeta dependera de
la configuracion de tu sistema, asi es que antes de comprar una, podrias
conseguir una y comparar la velocidad de la tarjeta contra el disco duro
con este programa

http://www.hackeame.net/crystaldiskmark-cual-es-la-velocidad-de-lectura-y-escritura-de-mi-x-unidad-de-almacenamiento.hackeame


ojala estas sugerencias te ayuden

Saludos y cuentanos como te va,

Eric.






On 04/06/14 11:20, Joan Carmona wrote:
> No soy experto en data mining con R, sé que existe algún paquete al 
> respecto, pero no sé si R sería lo más adecuado para cantidades ingentes 
> de datos…
> 
> Saludos,
> 
> Juan Carmona.
> 
>  
> 
> De: Eduardo Bieñkowski [mailto:[email protected]] 
> Enviado el: miércoles, 04 de junio de 2014 17:07
> Para: Joan Carmona
> CC: Isidro Hidalgo; r-help-es
> Asunto: Re: [R-es] Cargar csv de 16GB en R
> 
>  
> 
> Si pero que pasaría entonces si lo que se necesita hacer es minería de 
> datos con R, y queda un fichero enorme a pesar de darle todos los filtros y 
> selecciones posibles?????
> 
>  
> 
> El 4 de junio de 2014, 8:24, Joan Carmona <[email protected] 
> <mailto:[email protected]> > escribió:
> 
> Es cierto que R carga los objetos en memoria, pero ésta puede ser memoria
> RAM + Virtual.
> Yo he trabajado con data frames mayores que la memoria física. Es cierto que
> esto ralentiza las operaciones.
> Lo que marca realmente los límites de la memoria es la versión del sistema
> operativo y de R, que han de ser de 64 bits. En un sistema de 32 bits el
> direccionamiento teórico máximo es de 4 Gbytes, pero en un sistema de 64
> bits el límite es de varios Tbytes. Teóricamente (y sólo teóricamente) se
> podría trabajar con objetos muy grandes, siempre que tengas suficiente
> espacio en disco.
> 
> 
> -----Mensaje original-----
> De: [email protected] <mailto:[email protected]>  
> [mailto:[email protected] 
> <mailto:[email protected]> ]
> 
> En nombre de Isidro Hidalgo
> Enviado el: miércoles, 04 de junio de 2014 11:39
> Para: 'r-help-es'
> 
> Asunto: Re: [R-es] Cargar csv de 16GB en R
> 
> ¿Memoria virtual y R? Por lo que tengo entendido, como ha dicho Carlos
> antes, R trabaja con la memoria física, por lo que nunca vas a poder
> trabajar simultáneamente con objetos que requieran más memoria que la RAM de
> tu equipo.
> De hecho, bajo mi punto de vista, es el problema fundamental de R.
> Si funcionara con memoria virtual... IGUAL HASTA ME CASABA CON ÉL, XD Así
> que, por favor, si alguien puede aclarar este asunto, lo agradecería
> enormemente...
> Un saludo a todos.
> 
> Isidro Hidalgo Arellano
> Observatorio Regional de Empleo
> Consejería de Empleo y Economía
> http://www.jccm.es
> 
> 
> 
>> -----Mensaje original-----
>> De: [email protected] <mailto:[email protected]> 
>>  [mailto:r-help-es-bounces@r- <mailto:r-help-es-bounces@r-> 
>> project.org <http://project.org> ] En nombre de Javier Marcuzzi Enviado el: 
>> miércoles, 04 de
>> junio de 2014 1:54
>> Para: Joan Carmona
>> CC: r-help-es; laura tomé
>> Asunto: Re: [R-es] Cargar csv de 16GB en R
>>
>> Estoy de acuerdo con la observación de Joan, yo supe utilizar formas
>> para trabajar con más memoria de la configurada como base, pero
>> tengamos en cuenta que una vez importados los datos, cualquier
>> operación estará entre la memoria física y la virtual, es todo un
>> desafío y dependerá del análisis estadístico (me refiero a los
>> algoritmos que ordenen al CPU).
>>
>> Mi experiencia cuándo trabaje con muchos datos y tocando los
>> parámetros de memoria, en algo parecido a un modelo mixto, una
>> variable 5 minutos de procesamiento, dos variables unos 15 minutos,
>> ambas más una relación más de dos días de procesamiento, esa
>> relación en solo una variable algo como una hora. Básicamente podía
>> por separado, pero cuándo sumaba algo al modelo de tiempos razonables
>> pasaba a dos días (medido en la pantalla de R porque pasaba datos
>> según procesaba - verbose=TRUE).
>>
>> Javier Marcuzzi
>>
>>
>> El 3 de junio de 2014, 18:54, Joan Carmona <[email protected] 
>> <mailto:[email protected]> >
>> escribió:
>>
>>> Hola Laura,
>>>
>>> Asumo que estás usando una versión de R de 64 bits, de lo
>>> contrario ya irías muy limitada por la versión, si ésta fuera de 32
> bits.
>>>
>>> R puede trabajar con objetos mayores que la memoria física
>> instalada,
>>> gracias a la memoria virtual de la máquina.
>>>
>>> Pero hay que tener en cuenta que, en Windows, R limita la memoria
>>> disponible para una sesión de R. Para cambiar este límite, mira
>>> los comandos memory.size y memory.limit
>>>
>>> Saludos,
>>>
>>> Juan Carmona
>>>
>>> -----Mensaje original-----
>>> De: [email protected] 
>>> <mailto:[email protected]>  [mailto:
>>> [email protected] <mailto:[email protected]> ]
>>> En nombre de laura tomé
>>> Enviado el: martes, 03 de junio de 2014 19:37
>>> Para: [email protected] <mailto:[email protected]> 
>>> Asunto: [R-es] Cargar csv de 16GB en R
>>>
>>>
>>>
>>>
>>> Hola,
>>>
>>> Estoy todavía dando mis primeros pasos en R y una de las cosas que
>>> tengo que hacer es trabajar con un csv de 16 GB. Consta de 10
>>> columnas, 7 númericas He probado varias cosas entre ellas  los
>>> paquetes  'colbycol', data.table, ff , etc,  pero nada, mi ordenador
>>> de queda frito. Por cierto, tiene 8GB de RAM y Windows 8
>>>
>>> ¿Debo trocear previamente el csv,me recomendais algún paquete en
>>> especial, etc para trabajar con un fichero tan pesado, otra
>> solución?...
>>>
>>> Muchas gracias
>>>         [[alternative HTML version deleted]]
>>>
>>> _______________________________________________
>>> R-help-es mailing list
>>> [email protected] <mailto:[email protected]> 
>>> https://stat.ethz.ch/mailman/listinfo/r-help-es
>>>
>>
>>       [[alternative HTML version deleted]]
> 
> _______________________________________________
> R-help-es mailing list
> [email protected] <mailto:[email protected]> 
> https://stat.ethz.ch/mailman/listinfo/r-help-es
> 
> _______________________________________________
> R-help-es mailing list
> [email protected] <mailto:[email protected]> 
> https://stat.ethz.ch/mailman/listinfo/r-help-es
> 
> 
> 
> 
> 
> 
> _______________________________________________
> R-help-es mailing list
> [email protected]
> https://stat.ethz.ch/mailman/listinfo/r-help-es
> 

-- 
Forest Engineer
Master in Environmental and Natural Resource Economics
Ph.D. student in Sciences of Natural Resources at La Frontera University
Member in AguaDeTemu2030, citizen movement for Temuco with green city
standards for living

Nota: Las tildes se han omitido para asegurar compatibilidad con algunos
lectores de correo.

_______________________________________________
R-help-es mailing list
[email protected]
https://stat.ethz.ch/mailman/listinfo/r-help-es

Responder a