Re: [R-es] Cargar csv de 16GB en R

Wed, 04 Jun 2014 08:08:31 -0700 

Si pero que pasaría entonces si lo que se necesita hacer es minería de
datos con R, y queda un fichero enorme a pesar de darle todos los filtros y
selecciones posibles?????


El 4 de junio de 2014, 8:24, Joan Carmona <[email protected]> escribió:

> Es cierto que R carga los objetos en memoria, pero ésta puede ser memoria
> RAM + Virtual.
> Yo he trabajado con data frames mayores que la memoria física. Es cierto
> que
> esto ralentiza las operaciones.
> Lo que marca realmente los límites de la memoria es la versión del sistema
> operativo y de R, que han de ser de 64 bits. En un sistema de 32 bits el
> direccionamiento teórico máximo es de 4 Gbytes, pero en un sistema de 64
> bits el límite es de varios Tbytes. Teóricamente (y sólo teóricamente) se
> podría trabajar con objetos muy grandes, siempre que tengas suficiente
> espacio en disco.
>
> -----Mensaje original-----
> De: [email protected] [mailto:
> [email protected]]
> En nombre de Isidro Hidalgo
> Enviado el: miércoles, 04 de junio de 2014 11:39
> Para: 'r-help-es'
> Asunto: Re: [R-es] Cargar csv de 16GB en R
>
> ¿Memoria virtual y R? Por lo que tengo entendido, como ha dicho Carlos
> antes, R trabaja con la memoria física, por lo que nunca vas a poder
> trabajar simultáneamente con objetos que requieran más memoria que la RAM
> de
> tu equipo.
> De hecho, bajo mi punto de vista, es el problema fundamental de R.
> Si funcionara con memoria virtual... IGUAL HASTA ME CASABA CON ÉL, XD Así
> que, por favor, si alguien puede aclarar este asunto, lo agradecería
> enormemente...
> Un saludo a todos.
>
> Isidro Hidalgo Arellano
> Observatorio Regional de Empleo
> Consejería de Empleo y Economía
> http://www.jccm.es
>
>
>
> > -----Mensaje original-----
> > De: [email protected] [mailto:r-help-es-bounces@r-
> > project.org] En nombre de Javier Marcuzzi Enviado el: miércoles, 04 de
> > junio de 2014 1:54
> > Para: Joan Carmona
> > CC: r-help-es; laura tomé
> > Asunto: Re: [R-es] Cargar csv de 16GB en R
> >
> > Estoy de acuerdo con la observación de Joan, yo supe utilizar formas
> > para trabajar con más memoria de la configurada como base, pero
> > tengamos en cuenta que una vez importados los datos, cualquier
> > operación estará entre la memoria física y la virtual, es todo un
> > desafío y dependerá del análisis estadístico (me refiero a los
> > algoritmos que ordenen al CPU).
> >
> > Mi experiencia cuándo trabaje con muchos datos y tocando los
> > parámetros de memoria, en algo parecido a un modelo mixto, una
> > variable 5 minutos de procesamiento, dos variables unos 15 minutos,
> > ambas más una relación más de dos días de procesamiento, esa
> > relación en solo una variable algo como una hora. Básicamente podía
> > por separado, pero cuándo sumaba algo al modelo de tiempos razonables
> > pasaba a dos días (medido en la pantalla de R porque pasaba datos
> > según procesaba - verbose=TRUE).
> >
> > Javier Marcuzzi
> >
> >
> > El 3 de junio de 2014, 18:54, Joan Carmona <[email protected]>
> > escribió:
> >
> > > Hola Laura,
> > >
> > > Asumo que estás usando una versión de R de 64 bits, de lo
> > > contrario ya irías muy limitada por la versión, si ésta fuera de 
> > > 32
> bits.
> > >
> > > R puede trabajar con objetos mayores que la memoria física
> > instalada,
> > > gracias a la memoria virtual de la máquina.
> > >
> > > Pero hay que tener en cuenta que, en Windows, R limita la memoria
> > > disponible para una sesión de R. Para cambiar este límite, mira
> > > los comandos memory.size y memory.limit
> > >
> > > Saludos,
> > >
> > > Juan Carmona
> > >
> > > -----Mensaje original-----
> > > De: [email protected] [mailto:
> > > [email protected]]
> > > En nombre de laura tomé
> > > Enviado el: martes, 03 de junio de 2014 19:37
> > > Para: [email protected]
> > > Asunto: [R-es] Cargar csv de 16GB en R
> > >
> > >
> > >
> > >
> > > Hola,
> > >
> > > Estoy todavía dando mis primeros pasos en R y una de las cosas que
> > > tengo que hacer es trabajar con un csv de 16 GB. Consta de 10
> > > columnas, 7 númericas He probado varias cosas entre ellas  los
> > > paquetes  'colbycol', data.table, ff , etc,  pero nada, mi ordenador
> > > de queda frito. Por cierto, tiene 8GB de RAM y Windows 8
> > >
> > > ¿Debo trocear previamente el csv,me recomendais algún paquete en
> > > especial, etc para trabajar con un fichero tan pesado, otra
> > solución?...
> > >
> > > Muchas gracias
> > >         [[alternative HTML version deleted]]
> > >
> > > _______________________________________________
> > > R-help-es mailing list
> > > [email protected]
> > > https://stat.ethz.ch/mailman/listinfo/r-help-es
> > >
> >
> >       [[alternative HTML version deleted]]
>
> _______________________________________________
> R-help-es mailing list
> [email protected]
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
> _______________________________________________
> R-help-es mailing list
> [email protected]
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>



-- 
Eduardo

        [[alternative HTML version deleted]]


_______________________________________________
R-help-es mailing list
[email protected]
https://stat.ethz.ch/mailman/listinfo/r-help-es

Responder a