Es para integrar a una bd (mssql). Utilizo el utilitario bcp, que creo que es lo más eficiente. El tema es que los datos deben ser pre-procesados, porque vienen con cosas de más y de menos.
Gracias -----Original Message----- From: Alan Lavintman <[email protected]> To: "vbnet List Member" <[email protected]> Date: Tue, 13 Dec 2011 19:31:08 +0000 (GMT) Subject: [vbnet] procesar archivos de texto muy grandes Que tipo de procesamiento necesitas? 1) Estilo ETL? Abrir el archivo, formatearlo y subirlo a una db? 2) Analizar el contenido y extraer o generar informacion a partir del mismo? En funcion de eso, se me ocurren un par de maneras: 1) Un solo proceso que lee el archivo. 2) Poner el archivo en una NAS o un lugar donde mas procesos tengan acceso y agregarle un discriminador a cada ROW. Entonces cada proceso en diferentes maquinas se encargaria de procesar un set determinado de ROWS. 3) Un caso mas sofisticado donde tengas que analizar datos a gran escala y sea determinante para tu negocio. HADOOP. Espero que sea de alguna ayuda y Suerte :) Alan. From: "[email protected]" <[email protected]> To: vbnet List Member <[email protected]> Sent: Tuesday, 13 December 2011, 20:15 Subject: [vbnet] procesar archivos de texto muy grandes Hola: quería saber cuál es la técnica más eficiente para procesar grandes volúmenes de archivos de texto. Por "grandes volúmenes" entiendo unos 8 gb. y el objetivo prioritario está dado por el tiempo de ejecución. Puede ser con .net, pero podría ser otra herramienta. Gracias
