A parte de todas las propuestas que han surgido aquÃ, ¿Nos puedes contar qué necesitas hacer con el fichero?. Si se trata de algo tipo modelo lineal de una variable explicada por las otras 7, considerarÃa trabajar con muestras. Si ese fichero ocupa 16 gb en formato texto y son 7 variables tendrás cientos de millones de registros y probablemente con unos pocos cientos de miles tengas más que de sobra. Si lo que necesitas es algún tipo de procesamiento de las variables estoy de acuerdo con lo de procesarlo primero con herramientas externas. Incluso procesandolo por lotes en R si necesitas hacer cosas como cruces con otras tablas, te va a dar problemas. Y además de todo esto, tienes que contar con que lo que hagas va a tardar cierta cantidad de tiempo. Si trabajas con windows es bastante fácil que el ordenador "se quede frito" mientras procesas el fichero.
El 4 de junio de 2014, 1:53, Javier Marcuzzi < [email protected]> escribió: > Estoy de acuerdo con la observación de Joan, yo supe utilizar formas para > trabajar con más memoria de la configurada como base, pero tengamos en > cuenta que una vez importados los datos, cualquier operación estará entre > la memoria fÃsica y la virtual, es todo un desafÃo y dependerá del > análisis > estadÃstico (me refiero a los algoritmos que ordenen al CPU). > > Mi experiencia cuándo trabaje con muchos datos y tocando los parámetros de > memoria, en algo parecido a un modelo mixto, una variable 5 minutos de > procesamiento, dos variables unos 15 minutos, ambas más una relación más de > dos dÃas de procesamiento, esa relación en solo una variable algo como una > hora. Básicamente podÃa por separado, pero cuándo sumaba algo al modelo de > tiempos razonables pasaba a dos dÃas (medido en la pantalla de R porque > pasaba datos según procesaba - verbose=TRUE). > > Javier Marcuzzi > > > El 3 de junio de 2014, 18:54, Joan Carmona <[email protected]> > escribió: > > > Hola Laura, > > > > Asumo que estás usando una versión de R de 64 bits, de lo contrario ya > > irÃas > > muy limitada por la versión, si ésta fuera de 32 bits. > > > > R puede trabajar con objetos mayores que la memoria fÃsica instalada, > > gracias a la memoria virtual de la máquina. > > > > Pero hay que tener en cuenta que, en Windows, R limita la memoria > > disponible > > para una sesión de R. Para cambiar este lÃmite, mira los comandos > > memory.size y memory.limit > > > > Saludos, > > > > Juan Carmona > > > > -----Mensaje original----- > > De: [email protected] [mailto: > > [email protected]] > > En nombre de laura tomé > > Enviado el: martes, 03 de junio de 2014 19:37 > > Para: [email protected] > > Asunto: [R-es] Cargar csv de 16GB en R > > > > > > > > > > Hola, > > > > Estoy todavÃa dando mis primeros pasos en R y una de las cosas que tengo > > que > > hacer es trabajar con un csv de 16 GB. Consta de 10 columnas, 7 númericas > > He > > probado varias cosas entre ellas los paquetes 'colbycol', data.table, > ff > > , > > etc, pero nada, mi ordenador de queda frito. Por cierto, tiene 8GB de > RAM > > y > > Windows 8 > > > > ¿Debo trocear previamente el csv,me recomendais algún paquete en > especial, > > etc para trabajar con un fichero tan pesado, otra solución?... > > > > Muchas gracias > > [[alternative HTML version deleted]] > > > > _______________________________________________ > > R-help-es mailing list > > [email protected] > > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > [[alternative HTML version deleted]] > > > _______________________________________________ > R-help-es mailing list > [email protected] > https://stat.ethz.ch/mailman/listinfo/r-help-es > > [[alternative HTML version deleted]]
_______________________________________________ R-help-es mailing list [email protected] https://stat.ethz.ch/mailman/listinfo/r-help-es
