[Python-es] Importar grandes ficheros txt

2017-12-19 Por tema LA REPISA
Buenas tardes, Tengo un fichero plano cuyos campos están separados por ‘;’, cópo puedo importarlo a un dataframe de Python. Al intentar importarlo me devuelve “python no responde”, la máquina se queda sin recursos (es una máquina con 32 GB de memoria RAM) Mil gracias __

Re: [Python-es] Importar grandes ficheros txt

2017-12-19 Por tema Pavel Stephan Muñoz
Hola. Y qué tamaño tiene el fichero? Con Pandas podrías intentar leyéndolo parte por parte utilizando el parámetro chunksize de la función read_table: pd.read_table('tmp.sv', sep=';', chunksize=100) A lo mejor y esto ayuda. Más info acá: http://pandas-docs.github.io/pandas-docs-travis/io.html#it

Re: [Python-es] Importar grandes ficheros txt

2017-12-19 Por tema LA REPISA
Gracias, es un fichero de más de 1 GB. Son más de 5 millones de registros con 34 variables... Parece que le cuesta con el chunk. La verdad que necesito trabajar con ese tipo de ficheros y python me gusta, pero creo que me voy a tener que cambiar de Software. Una pena. Gracias de nuevo Enviad