cuando tuve que hacer algo así, se lo encargué directamente al motor de base de datos usando stored procedures, no era mssql así que no sé cómo será el comportamiento en este caso. para mí fue la única alternativa razonable en tiempos de respuesta. abrir y recorrer un archivo así con .net no lo recomiendo tampoco. en todo caso en c++, python, perl o hasta php sobre linux tal vez sea más eficiente si es que no podés acceder al archivo desde el motor. como toda alternativa dependerá de tu escenario particular... cristian.
________________________________ De: "[email protected]" <[email protected]> Para: vbnet List Member <[email protected]> Enviado: martes, 13 de diciembre de 2011 16:37 Asunto: [vbnet] procesar archivos de texto muy grandes Es para integrar a una bd (mssql). Utilizo el utilitario bcp, que creo que es lo más eficiente. El tema es que los datos deben ser pre-procesados, porque vienen con cosas de más y de menos. Gracias -----Original Message----- >From: Alan Lavintman <[email protected]> >To: "vbnet List Member" <[email protected]> >Date: Tue, 13 Dec 2011 19:31:08 +0000 (GMT) >Subject: [vbnet] procesar archivos de texto muy grandes > > >Que tipo de procesamiento necesitas? >1) Estilo ETL? Abrir el archivo, formatearlo y subirlo a una db? >2) Analizar el contenido y extraer o generar informacion a partir del mismo? > > >En funcion de eso, se me ocurren un par de maneras: >1) Un solo proceso que lee el archivo. >2) Poner el archivo en una NAS o un lugar donde mas procesos tengan acceso y >agregarle un discriminador a cada ROW. Entonces cada proceso en diferentes >maquinas se encargaria de procesar un set determinado de ROWS. >3) Un caso mas sofisticado donde tengas que analizar datos a gran escala y sea >determinante para tu negocio. HADOOP. > > >Espero que sea de alguna ayuda y Suerte :) >Alan. > > > >________________________________ >From: "[email protected]" <[email protected]> >To: vbnet List Member <[email protected]> >Sent: Tuesday, 13 December 2011, 20:15 >Subject: [vbnet] procesar archivos de texto muy grandes > > >Hola: quería saber cuál es la técnica más eficiente para procesar grandes >volúmenes de archivos de texto. Por "grandes volúmenes" entiendo unos 8 gb. y >el objetivo prioritario está dado por el tiempo de ejecución. >Puede ser con .net, pero podría ser otra herramienta. >Gracias > > >
