Re: [R-es] Cargar csv de 16GB en R

Thu, 05 Jun 2014 01:59:23 -0700 

neo,

El tema que comentas de utilizar tarjetas SDHC me parece muy interesante.
¿Lo has probado?¿Tienes algún dato de mejoras de tiempos?


El 4 de junio de 2014, 20:13, neo <[email protected]> escribió:

> No se mucho al respecto, pero que yo sepa quien gestiona el uso de los
> recursos del computador es el sistema operativo, asi es que R deberia
> ser capaz de usar la memoria virtual (swap) de un sistema UNIX/Linux,
> por ejemplo,
>
> con esto el tamaño de la RAM no deberia ser una limitante ya que siemore
> puedes hacer una swap tan grande como necesites, teoricamente ... pero
> la velocidad de acceso al disco duro es cientos de veces inferior a la
> RAM, asi es que seguro hay que hechar a andar el script y llevarse un
> buen libro o varias revistas de puzzles ...
>
> para subsanar un poco este problema, si se opta por usar un sistema
> Linux con swap y el archivo es de 16 GB, yo sugeriria hacer una swap
> sobre una tarjeta microSDHC clase 10 (es importante que sea clase 10
> porque define la velocidad de lectura/escritura) de 32 GB, con esto
> deberias ahorrar bastante tiempo de ejecucion al script
>
> eso si, cuanto tiempo ahorraras con la swap en la tarjeta dependera de
> la configuracion de tu sistema, asi es que antes de comprar una, podrias
> conseguir una y comparar la velocidad de la tarjeta contra el disco duro
> con este programa
>
>
> http://www.hackeame.net/crystaldiskmark-cual-es-la-velocidad-de-lectura-y-escritura-de-mi-x-unidad-de-almacenamiento.hackeame
>
>
> ojala estas sugerencias te ayuden
>
> Saludos y cuentanos como te va,
>
> Eric.
>
>
>
>
>
>
> On 04/06/14 11:20, Joan Carmona wrote:
> > No soy experto en data mining con R, sé que existe algún paquete al
> respecto, pero no sé si R sería lo más adecuado para cantidades 
> ingentes
> de datos…
> >
> > Saludos,
> >
> > Juan Carmona.
> >
> >
> >
> > De: Eduardo Bieñkowski [mailto:[email protected]]
> > Enviado el: miércoles, 04 de junio de 2014 17:07
> > Para: Joan Carmona
> > CC: Isidro Hidalgo; r-help-es
> > Asunto: Re: [R-es] Cargar csv de 16GB en R
> >
> >
> >
> > Si pero que pasaría entonces si lo que se necesita hacer es minería de
> datos con R, y queda un fichero enorme a pesar de darle todos los filtros y
> selecciones posibles?????
> >
> >
> >
> > El 4 de junio de 2014, 8:24, Joan Carmona <[email protected]
> <mailto:[email protected]> > escribió:
> >
> > Es cierto que R carga los objetos en memoria, pero ésta puede ser
> memoria
> > RAM + Virtual.
> > Yo he trabajado con data frames mayores que la memoria física. Es
> cierto que
> > esto ralentiza las operaciones.
> > Lo que marca realmente los límites de la memoria es la versión del
> sistema
> > operativo y de R, que han de ser de 64 bits. En un sistema de 32 bits el
> > direccionamiento teórico máximo es de 4 Gbytes, pero en un sistema de
> 64
> > bits el límite es de varios Tbytes. Teóricamente (y sólo
> teóricamente) se
> > podría trabajar con objetos muy grandes, siempre que tengas suficiente
> > espacio en disco.
> >
> >
> > -----Mensaje original-----
> > De: [email protected] <mailto:
> [email protected]>  [mailto:[email protected]
> <mailto:[email protected]> ]
> >
> > En nombre de Isidro Hidalgo
> > Enviado el: miércoles, 04 de junio de 2014 11:39
> > Para: 'r-help-es'
> >
> > Asunto: Re: [R-es] Cargar csv de 16GB en R
> >
> > ¿Memoria virtual y R? Por lo que tengo entendido, como ha dicho Carlos
> > antes, R trabaja con la memoria física, por lo que nunca vas a poder
> > trabajar simultáneamente con objetos que requieran más memoria que la
> RAM de
> > tu equipo.
> > De hecho, bajo mi punto de vista, es el problema fundamental de R.
> > Si funcionara con memoria virtual... IGUAL HASTA ME CASABA CON ÉL, XD
> Así
> > que, por favor, si alguien puede aclarar este asunto, lo agradecería
> > enormemente...
> > Un saludo a todos.
> >
> > Isidro Hidalgo Arellano
> > Observatorio Regional de Empleo
> > Consejería de Empleo y Economía
> > http://www.jccm.es
> >
> >
> >
> >> -----Mensaje original-----
> >> De: [email protected] <mailto:
> [email protected]>  [mailto:r-help-es-bounces@r- <mailto:
> r-help-es-bounces@r->
> >> project.org <http://project.org> ] En nombre de Javier Marcuzzi
> Enviado el: miércoles, 04 de
> >> junio de 2014 1:54
> >> Para: Joan Carmona
> >> CC: r-help-es; laura tomé
> >> Asunto: Re: [R-es] Cargar csv de 16GB en R
> >>
> >> Estoy de acuerdo con la observación de Joan, yo supe utilizar formas
> >> para trabajar con más memoria de la configurada como base, pero
> >> tengamos en cuenta que una vez importados los datos, cualquier
> >> operación estará entre la memoria física y la 
> >> virtual, es todo
> un
> >> desafío y dependerá del análisis estadístico 
> >> (me refiero a
> los
> >> algoritmos que ordenen al CPU).
> >>
> >> Mi experiencia cuándo trabaje con muchos datos y tocando los
> >> parámetros de memoria, en algo parecido a un modelo mixto, una
> >> variable 5 minutos de procesamiento, dos variables unos 15 minutos,
> >> ambas más una relación más de dos días de 
> >> procesamiento, esa
> >> relación en solo una variable algo como una hora. Básicamente
> podía
> >> por separado, pero cuándo sumaba algo al modelo de tiempos 
> >> razonables
> >> pasaba a dos días (medido en la pantalla de R porque pasaba datos
> >> según procesaba - verbose=TRUE).
> >>
> >> Javier Marcuzzi
> >>
> >>
> >> El 3 de junio de 2014, 18:54, Joan Carmona <[email protected]
> <mailto:[email protected]> >
> >> escribió:
> >>
> >>> Hola Laura,
> >>>
> >>> Asumo que estás usando una versión de R de 64 bits, de lo
> >>> contrario ya irías muy limitada por la versión, si 
> >>> ésta fuera
> de 32
> > bits.
> >>>
> >>> R puede trabajar con objetos mayores que la memoria física
> >> instalada,
> >>> gracias a la memoria virtual de la máquina.
> >>>
> >>> Pero hay que tener en cuenta que, en Windows, R limita la memoria
> >>> disponible para una sesión de R. Para cambiar este límite, 
> >>> mira
> >>> los comandos memory.size y memory.limit
> >>>
> >>> Saludos,
> >>>
> >>> Juan Carmona
> >>>
> >>> -----Mensaje original-----
> >>> De: [email protected] <mailto:
> [email protected]>  [mailto:
> >>> [email protected] <mailto:
> [email protected]> ]
> >>> En nombre de laura tomé
> >>> Enviado el: martes, 03 de junio de 2014 19:37
> >>> Para: [email protected] <mailto:[email protected]>
> >>> Asunto: [R-es] Cargar csv de 16GB en R
> >>>
> >>>
> >>>
> >>>
> >>> Hola,
> >>>
> >>> Estoy todavía dando mis primeros pasos en R y una de las cosas que
> >>> tengo que hacer es trabajar con un csv de 16 GB. Consta de 10
> >>> columnas, 7 númericas He probado varias cosas entre ellas  los
> >>> paquetes  'colbycol', data.table, ff , etc,  pero nada, mi ordenador
> >>> de queda frito. Por cierto, tiene 8GB de RAM y Windows 8
> >>>
> >>> ¿Debo trocear previamente el csv,me recomendais algún 
> >>> paquete en
> >>> especial, etc para trabajar con un fichero tan pesado, otra
> >> solución?...
> >>>
> >>> Muchas gracias
> >>>         [[alternative HTML version deleted]]
> >>>
> >>> _______________________________________________
> >>> R-help-es mailing list
> >>> [email protected] <mailto:[email protected]>
> >>> https://stat.ethz.ch/mailman/listinfo/r-help-es
> >>>
> >>
> >>       [[alternative HTML version deleted]]
> >
> > _______________________________________________
> > R-help-es mailing list
> > [email protected] <mailto:[email protected]>
> > https://stat.ethz.ch/mailman/listinfo/r-help-es
> >
> > _______________________________________________
> > R-help-es mailing list
> > [email protected] <mailto:[email protected]>
> > https://stat.ethz.ch/mailman/listinfo/r-help-es
> >
> >
> >
> >
> >
> >
> > _______________________________________________
> > R-help-es mailing list
> > [email protected]
> > https://stat.ethz.ch/mailman/listinfo/r-help-es
> >
>
> --
> Forest Engineer
> Master in Environmental and Natural Resource Economics
> Ph.D. student in Sciences of Natural Resources at La Frontera University
> Member in AguaDeTemu2030, citizen movement for Temuco with green city
> standards for living
>
> Nota: Las tildes se han omitido para asegurar compatibilidad con algunos
> lectores de correo.
>
> _______________________________________________
> R-help-es mailing list
> [email protected]
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>

        [[alternative HTML version deleted]]


_______________________________________________
R-help-es mailing list
[email protected]
https://stat.ethz.ch/mailman/listinfo/r-help-es

Responder a