Re: [R-es] Problema en lectura de datos. Memoria insuficiente

[Fernando Macedo]

Buenas, no se como te llevas con data.table pero usando la función fread 
del mismo obtuve estos resultados:


x=fread("ESS1-7e01.csv")
Read 331871 rows and 1020 (of 1020) columns from 0.443 GB file in 00:00:13

Estoy en un i5 con 8 GB de memoria y Ubuntu (creo que el 16.10 no 
recuerdo bien).


Saludos.


Fernando Macedo

El 27/06/17 a las 17:52, Antonio Rodriguez Andres escribió:


Si he intentado con el paquete haven pero no me lee todos los datos, se me
corta el archivo, después de un tiempo de procesamiento. Te adjunto el
fichero que quiero leer, que es del ESS, es verdad que es muy pesado, y
luego puedo seleccionar un subconjunto de ello

​
  ESS1-7e01.rar

​

2017-06-27 12:37 GMT-05:00 Freddy Omar López Quintero <
freddy.lopez.quint...@gmail.com>:


2017-06-27 13:12 GMT-04:00 Antonio Rodriguez Andres <
antoniorodriguezandre...@gmail.com>:


Que archivo has intentado leer el del VWS o el de la link que te envié?


​Ambos. El del enlace que me enviaste es bastante más pequeño (me tendrías
que decir qué variables seleccionar para que sean exactamente iguales -o
enviárnoslo en un enlace drive o dropbox o algo así-). ​

¡
​Salud!​


--
«Pídeles sus títulos a los que te persiguen, pregúntales
cuándo nacieron, diles que te demuestren su existencia.»

Rafael Cadenas






___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] Problema en lectura de datos. Memoria insuficiente

[Antonio Rodriguez Andres]

Si he intentado con el paquete haven pero no me lee todos los datos, se me
corta el archivo, después de un tiempo de procesamiento. Te adjunto el
fichero que quiero leer, que es del ESS, es verdad que es muy pesado, y
luego puedo seleccionar un subconjunto de ello

​
 ESS1-7e01.rar

​

2017-06-27 12:37 GMT-05:00 Freddy Omar López Quintero <
freddy.lopez.quint...@gmail.com>:

>
> 2017-06-27 13:12 GMT-04:00 Antonio Rodriguez Andres <
> antoniorodriguezandre...@gmail.com>:
>
>> Que archivo has intentado leer el del VWS o el de la link que te envié?
>
>
> ​Ambos. El del enlace que me enviaste es bastante más pequeño (me tendrías
> que decir qué variables seleccionar para que sean exactamente iguales -o
> enviárnoslo en un enlace drive o dropbox o algo así-). ​
>
> ¡
> ​Salud!​
>
>
> --
> «Pídeles sus títulos a los que te persiguen, pregúntales
> cuándo nacieron, diles que te demuestren su existencia.»
>
> Rafael Cadenas
>
>


-- 

Member, Editorial Committee, *The Economic and Labour Relations Review* (a
SAGE journal)

http://elr.sagepub.com/

Member, Editorial Committee, African Journal of Economic and Management
Studies

http://emeraldgrouppublishing.com/products/journals/editorial_team.htm?id=ajems

https://www.researchgate.net/profile/Antonio_Andres (Research Gate profile)

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] Problema en lectura de datos. Memoria insuficiente

[Freddy Omar López Quintero]

2017-06-27 13:12 GMT-04:00 Antonio Rodriguez Andres <
antoniorodriguezandre...@gmail.com>:

> Que archivo has intentado leer el del VWS o el de la link que te envié?


​Ambos. El del enlace que me enviaste es bastante más pequeño (me tendrías
que decir qué variables seleccionar para que sean exactamente iguales -o
enviárnoslo en un enlace drive o dropbox o algo así-). ​

¡
​Salud!​


-- 
«Pídeles sus títulos a los que te persiguen, pregúntales
cuándo nacieron, diles que te demuestren su existencia.»

Rafael Cadenas

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] Problema en lectura de datos. Memoria insuficiente

[Antonio Rodriguez Andres]

Freddy

Que archivo has intentado leer el del VWS o el de la link que te envié?

2017-06-27 11:33 GMT-05:00 Freddy Omar López Quintero <
freddy.lopez.quint...@gmail.com>:

>
> 2017-06-27 11:42 GMT-04:00 Antonio Rodriguez Andres <
> antoniorodriguezandre...@gmail.com>:
>
>> Estaba usando el ESS pero me he dado cuenta que si tiene csv, yo lo bajé
>> de aquí en formato SPSS pero me da el error de falta de memoria
>>
>>
>> http://www.europeansocialsurvey.org/downloadwizard/
>>
>
> ​De acuerdo. He usado la fuente que envías y otra que hallé en
>
> http://www.worldvaluessurvey.org/WVSDocumentationWVL.jsp
>>
>
> ​para descargar algunos datos y tuve inconvenientes para importarlos con
> la función de foreign en su versión stata:
>
> Error in `levels<-`(`*tmp*`, value = if (nl == nL) as.character(labels)
>> else paste0(labels,  :
>>   factor level [31] is duplicated
>>
>
> y con el formato de SPSS:
>
> Error in read.spss() : error reading system-file header
>>
>
> pero no al usar haven, que los leyó aparentemente bien. Sí noté que con el
> archivo .sav tarda bastante más en lanzar el error.
>
> Naturalmente el archivo que es bastante grande (de casi 570MB) requerirá
> mucho más tiempo para la importación (yo reinicié el ordenador para dejarle
> el trabajo único de la importación).
>
> Aventuro finalmente a decir que el problema es únicamente por la capacidad
> del ordenador que utilizas y el esfuerzo que debe hacer la función para
> convertir los datos. ¿Pudiste leer los datos en csv? (¡sería una 'solución'
> feliz!)
>
> Por otro lado, he leído que en Windows se puede usar la función
> memory.limit() para modificar la cantidad de memoria para utilizar (
> https://stackoverflow.com/questions/1395229/increasing-or-d
> ecreasing-the-memory-available-to-r-processes).
>
> ¿Sirven de algo estas divagaciones? jeje.
>
> ¡Salud!​
>
> --
> «Pídeles sus títulos a los que te persiguen, pregúntales
> cuándo nacieron, diles que te demuestren su existencia.»
>
> Rafael Cadenas
>
>


-- 

Member, Editorial Committee, *The Economic and Labour Relations Review* (a
SAGE journal)

http://elr.sagepub.com/

Member, Editorial Committee, African Journal of Economic and Management
Studies

http://emeraldgrouppublishing.com/products/journals/editorial_team.htm?id=ajems

https://www.researchgate.net/profile/Antonio_Andres (Research Gate profile)

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] Problema en lectura de datos. Memoria insuficiente

[Freddy Omar López Quintero]

2017-06-27 11:42 GMT-04:00 Antonio Rodriguez Andres <
antoniorodriguezandre...@gmail.com>:

> Estaba usando el ESS pero me he dado cuenta que si tiene csv, yo lo bajé
> de aquí en formato SPSS pero me da el error de falta de memoria
>
>
> http://www.europeansocialsurvey.org/downloadwizard/
>

​De acuerdo. He usado la fuente que envías y otra que hallé en

http://www.worldvaluessurvey.org/WVSDocumentationWVL.jsp
>

​para descargar algunos datos y tuve inconvenientes para importarlos con la
función de foreign en su versión stata:

Error in `levels<-`(`*tmp*`, value = if (nl == nL) as.character(labels)
> else paste0(labels,  :
>   factor level [31] is duplicated
>

y con el formato de SPSS:

Error in read.spss() : error reading system-file header
>

pero no al usar haven, que los leyó aparentemente bien. Sí noté que con el
archivo .sav tarda bastante más en lanzar el error.

Naturalmente el archivo que es bastante grande (de casi 570MB) requerirá
mucho más tiempo para la importación (yo reinicié el ordenador para dejarle
el trabajo único de la importación).

Aventuro finalmente a decir que el problema es únicamente por la capacidad
del ordenador que utilizas y el esfuerzo que debe hacer la función para
convertir los datos. ¿Pudiste leer los datos en csv? (¡sería una 'solución'
feliz!)

Por otro lado, he leído que en Windows se puede usar la función
memory.limit() para modificar la cantidad de memoria para utilizar (
https://stackoverflow.com/questions/1395229/increasing-or-
decreasing-the-memory-available-to-r-processes).

¿Sirven de algo estas divagaciones? jeje.

¡Salud!​

-- 
«Pídeles sus títulos a los que te persiguen, pregúntales
cuándo nacieron, diles que te demuestren su existencia.»

Rafael Cadenas

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] Problema en lectura de datos. Memoria insuficiente

[Freddy Omar López Quintero]

2017-06-27 11:34 GMT-04:00 Antonio Rodriguez Andres <
antoniorodriguezandre...@gmail.com>:

> Si de hecho he utilizado el read_spss por el tema de las labels. Pero
> obtengo el mismo mensaje de problema de memoria.


​Vale. He buscado "WVS_Longitudinal_1981_2014_spss_v2015_04_18.sav"​ en
google pero mi búsqueda ha sido infructuosa. ¿Es posible que envíes un
enlace con los datos para probar? A ver si descubrimos alguna fisura por
dónde atacar.


-- 
«Pídeles sus títulos a los que te persiguen, pregúntales
cuándo nacieron, diles que te demuestren su existencia.»

Rafael Cadenas

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] Problema en lectura de datos. Memoria insuficiente

[Antonio Rodriguez Andres]

Si de hecho he utilizado el read_spss por el tema de las labels. Pero
obtengo el mismo mensaje de problema de memoria.
Antonio

2017-06-27 10:30 GMT-05:00 Freddy Omar López Quintero <
freddy.lopez.quint...@gmail.com>:

>
> 2017-06-27 11:10 GMT-04:00 Antonio Rodriguez Andres <
> antoniorodriguezandre...@gmail.com>:
>
>> El
>> survey solo tiene los datos en formato SPSS o en formato de STATA (.dta).
>>
>
> ​En el pasado yo he utilizado read_spss y read_dta ​del paquete haven y me
> han funcionado mejor que las funciones de foreign, sobre todo por las
> etiquetas que tanto SPSS y stata ocupan, que al leerse con las clásicas
> funciones desaparecen. ¿Has probado estas funciones?
>
> ¡​Salud!​
>
> --
> «Pídeles sus títulos a los que te persiguen, pregúntales
> cuándo nacieron, diles que te demuestren su existencia.»
>
> Rafael Cadenas
>
>


-- 

Member, Editorial Committee, *The Economic and Labour Relations Review* (a
SAGE journal)

http://elr.sagepub.com/

Member, Editorial Committee, African Journal of Economic and Management
Studies

http://emeraldgrouppublishing.com/products/journals/editorial_team.htm?id=ajems

https://www.researchgate.net/profile/Antonio_Andres (Research Gate profile)

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] Problema en lectura de datos. Memoria insuficiente

[Freddy Omar López Quintero]

2017-06-27 11:10 GMT-04:00 Antonio Rodriguez Andres <
antoniorodriguezandre...@gmail.com>:

> El
> survey solo tiene los datos en formato SPSS o en formato de STATA (.dta).
>

​En el pasado yo he utilizado read_spss y read_dta ​del paquete haven y me
han funcionado mejor que las funciones de foreign, sobre todo por las
etiquetas que tanto SPSS y stata ocupan, que al leerse con las clásicas
funciones desaparecen. ¿Has probado estas funciones?

¡​Salud!​

-- 
«Pídeles sus títulos a los que te persiguen, pregúntales
cuándo nacieron, diles que te demuestren su existencia.»

Rafael Cadenas

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] Problema en lectura de datos. Memoria insuficiente

[Antonio Rodriguez Andres]

Gracias Eric

Actualmente no tengo SPSS instalado en mi computador ni tengo licencia. El
survey solo tiene los datos en formato SPSS o en formato de STATA (.dta).
Creo que estos últimos se pueden leer con read.dta, de la library(foreign).
Pero entiendo que darán el mismo problema

2017-06-26 17:08 GMT-05:00 eric :

> Hola antonio, cuando tengo que leer datos de SPSS no lo hago directamente
> con R porque nunca me resulta muy bien (no es que sea un problema de R, es
> que yo no se como hacerlo bien). En lugar de eso transformo los datos a
> csv, como te sugiere Francisco, usando "pspp-convert"que viene con el
> paquete "pspp" para linux. Asi obtengo un archivo bastante bien terminado
> que puedo leer directamente en R. Si estas en windows entonces puedes
> guardar los datos directamente en csv con SPSS.
>
> Espero que te ayude, saludos !!
>
> Eric.
>
>
>
>
> On 06/24/2017 09:24 AM, Antonio Rodriguez Andres wrote:
>
> Buenos días
>
> Estoy intentando leer una base de datos correspondiente al World Values
> Survey desde 1981 a 2014. Contiene variables por columnas, y observaciones
> correspondientes a individuos
> de diferentes países. Podría tener como aprox. 1000 variables, y mas de
> 60,000 individuos por año. Esta es la información que obtengo de mi RStudio.
>
>
> sessionInfo()R version 3.3.2 (2016-10-31)
>
> Platform: x86_64-w64-mingw32/x64 (64-bit)
> Running under: Windows >= 8 x64 (build 9200)
>
>
> El ordenador portatil tiene las siguientes especificaciones, RAM INSTALADO
> : 4GB
>
>
> Cuando intento leer el data frame, lo que obtengo es ese mensaje de error.
> He intentado cambiar el memory limit, pero no consigo leerlo.
>
>
> vws = read_spss("WVS_Longitudinal_1981_2014_spss_v2015_04_18.sav")Error: 
> cannot allocate vector of size 2.6 Mb
>
> Alguna sugerencia de como podría leer los datos.
>
>
>
> Gracias por anticipado
>
> Antonio
>
>
>
> --
>
>   [[alternative HTML version deleted]]
>
> ___
> R-help-es mailing 
> listR-help-es@r-project.orghttps://stat.ethz.ch/mailman/listinfo/r-help-es
> .
>
>
>
> --
> Forest Engineer
> Master in Environmental and Natural Resource Economics
> Ph.D. student in Sciences of Natural Resources at La Frontera University
> Member in AguaDeTemu2030, citizen movement for Temuco with green city 
> standards for living
>
> Nota: Las tildes se han omitido para asegurar compatibilidad con algunos 
> lectores de correo.
>
>


-- 

Member, Editorial Committee, *The Economic and Labour Relations Review* (a
SAGE journal)

http://elr.sagepub.com/

Member, Editorial Committee, African Journal of Economic and Management
Studies

http://emeraldgrouppublishing.com/products/journals/editorial_team.htm?id=ajems

https://www.researchgate.net/profile/Antonio_Andres (Research Gate profile)

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] Problema en lectura de datos. Memoria insuficiente

[eric]

  
  
Hola antonio, cuando tengo que leer datos de SPSS no lo hago
  directamente con R porque nunca me resulta muy bien (no es que sea
  un problema de R, es que yo no se como hacerlo bien). En lugar de
  eso transformo los datos a csv, como te sugiere Francisco, usando
  "pspp-convert"que viene con el paquete "pspp" para linux. Asi
  obtengo un archivo bastante bien terminado que puedo leer
  directamente en R. Si estas en windows entonces puedes guardar los
  datos directamente en csv con SPSS.

Espero que te ayude, saludos !!

Eric.





On 06/24/2017 09:24 AM, Antonio
  Rodriguez Andres wrote:


  Buenos días

Estoy intentando leer una base de datos correspondiente al World Values
Survey desde 1981 a 2014. Contiene variables por columnas, y observaciones
correspondientes a individuos
de diferentes países. Podría tener como aprox. 1000 variables, y mas de
60,000 individuos por año. Esta es la información que obtengo de mi RStudio.


  
sessionInfo()R version 3.3.2 (2016-10-31)

  
  Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows >= 8 x64 (build 9200)


El ordenador portatil tiene las siguientes especificaciones, RAM INSTALADO
: 4GB


Cuando intento leer el data frame, lo que obtengo es ese mensaje de error.
He intentado cambiar el memory limit, pero no consigo leerlo.


  
vws = read_spss("WVS_Longitudinal_1981_2014_spss_v2015_04_18.sav")Error: cannot allocate vector of size 2.6 Mb

  
  
Alguna sugerencia de como podría leer los datos.



Gracias por anticipado

Antonio



--

	[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es
.




-- 
Forest Engineer
Master in Environmental and Natural Resource Economics
Ph.D. student in Sciences of Natural Resources at La Frontera University
Member in AguaDeTemu2030, citizen movement for Temuco with green city standards for living

Nota: Las tildes se han omitido para asegurar compatibilidad con algunos lectores de correo.

  


___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] Problema en lectura de datos. Memoria insuficiente

[Carlos J. Gil Bellosta]

Los datos del WWS están disponibles en R en la página de descarga. No hay
que traducirlos.

Si los bajas periodo a periodo filtrando las variables (seguro que no
quieres las mil a la vez, ¿verdad?), caben de sobra.

Tienes un ejemplo de carga de datos del WWS aquí

.

Un saludo,

Carlos J. Gil Bellosta
http://www.datanalytics.com

El 24 de junio de 2017, 18:11, Antonio Rodriguez Andres <
antoniorodriguezandre...@gmail.com> escribió:

> Francisco
>
> Uno de los ficheros de 1981 a 2014 esta en formato rdata, y el otro está en
> formato SPSS o STATA. Creo que lo que dices solo vale para ficheros txt, o
> csv. Mi idea es luego combinarlos mediante rbind ambos datos, lo mismo que
> hace el comando append en STATA.
>
> Gracias
>
> 2017-06-24 9:08 GMT-05:00 Francisco Rodríguez :
>
> > Puedes cambiar el formato de datos?  Pásalo a txt o csv y usa la librería
> > data.table No sé si data.table permite leer directamente de spss. Un
> > saludo
> >
> > Enviado desde mi smartphone Sony Xperia™
> >
> >
> >  Antonio Rodriguez Andres escribió 
> >
> > Buenos días
> >
> > Estoy intentando leer una base de datos correspondiente al World Values
> > Survey desde 1981 a 2014. Contiene variables por columnas, y
> observaciones
> > correspondientes a individuos
> > de diferentes países. Podría tener como aprox. 1000 variables, y mas de
> > 60,000 individuos por año. Esta es la información que obtengo de mi
> > RStudio.
> >
> > > sessionInfo()R version 3.3.2 (2016-10-31)
> > Platform: x86_64-w64-mingw32/x64 (64-bit)
> > Running under: Windows >= 8 x64 (build 9200)
> >
> >
> > El ordenador portatil tiene las siguientes especificaciones, RAM
> INSTALADO
> > : 4GB
> >
> >
> > Cuando intento leer el data frame, lo que obtengo es ese mensaje de
> error.
> > He intentado cambiar el memory limit, pero no consigo leerlo.
> >
> > > vws = read_spss("WVS_Longitudinal_1981_2014_spss_v2015_04_18.
> sav")Error:
> > cannot allocate vector of size 2.6 Mb
> >
> > Alguna sugerencia de como podría leer los datos.
> >
> >
> >
> > Gracias por anticipado
> >
> > Antonio
> >
> >
> >
> > --
> >
> > [[alternative HTML version deleted]]
> >
> > ___
> > R-help-es mailing list
> > R-help-es@r-project.org
> > https://stat.ethz.ch/mailman/listinfo/r-help-es
> >
>
>
>
> --
>
> Member, Editorial Committee, *The Economic and Labour Relations Review* (a
> SAGE journal)
>
> http://elr.sagepub.com/
>
> Member, Editorial Committee, African Journal of Economic and Management
> Studies
>
> http://emeraldgrouppublishing.com/products/journals/
> editorial_team.htm?id=ajems
>
> https://www.researchgate.net/profile/Antonio_Andres (Research Gate
> profile)
>
> [[alternative HTML version deleted]]
>
> ___
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] Problema en lectura de datos. Memoria insuficiente

[Antonio Rodriguez Andres]

Francisco

Uno de los ficheros de 1981 a 2014 esta en formato rdata, y el otro está en
formato SPSS o STATA. Creo que lo que dices solo vale para ficheros txt, o
csv. Mi idea es luego combinarlos mediante rbind ambos datos, lo mismo que
hace el comando append en STATA.

Gracias

2017-06-24 9:08 GMT-05:00 Francisco Rodríguez :

> Puedes cambiar el formato de datos?  Pásalo a txt o csv y usa la librería
> data.table No sé si data.table permite leer directamente de spss. Un
> saludo
>
> Enviado desde mi smartphone Sony Xperia™
>
>
>  Antonio Rodriguez Andres escribió 
>
> Buenos días
>
> Estoy intentando leer una base de datos correspondiente al World Values
> Survey desde 1981 a 2014. Contiene variables por columnas, y observaciones
> correspondientes a individuos
> de diferentes países. Podría tener como aprox. 1000 variables, y mas de
> 60,000 individuos por año. Esta es la información que obtengo de mi
> RStudio.
>
> > sessionInfo()R version 3.3.2 (2016-10-31)
> Platform: x86_64-w64-mingw32/x64 (64-bit)
> Running under: Windows >= 8 x64 (build 9200)
>
>
> El ordenador portatil tiene las siguientes especificaciones, RAM INSTALADO
> : 4GB
>
>
> Cuando intento leer el data frame, lo que obtengo es ese mensaje de error.
> He intentado cambiar el memory limit, pero no consigo leerlo.
>
> > vws = read_spss("WVS_Longitudinal_1981_2014_spss_v2015_04_18.sav")Error:
> cannot allocate vector of size 2.6 Mb
>
> Alguna sugerencia de como podría leer los datos.
>
>
>
> Gracias por anticipado
>
> Antonio
>
>
>
> --
>
> [[alternative HTML version deleted]]
>
> ___
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>



-- 

Member, Editorial Committee, *The Economic and Labour Relations Review* (a
SAGE journal)

http://elr.sagepub.com/

Member, Editorial Committee, African Journal of Economic and Management
Studies

http://emeraldgrouppublishing.com/products/journals/editorial_team.htm?id=ajems

https://www.researchgate.net/profile/Antonio_Andres (Research Gate profile)

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es