Hola Norberto, > Ojo, me olvidé de decir que son 4 colecciones Magma.
Jeje, justo te estaba por responder y ví que pusiste esto. Por lo menos creo que podemos acotar que el problema lo tenés con las colecciones magma. Nosotros acá solemos trabajar con colecciones mucho mas grandes que 76k de objetos en memoria donde se hacen búsquedas, comparaciones, agrupamiento, etc. y los tiempos de respuesta no superan los segundos, incluso con objetos que poseen un #= bastante power :-). Lamentablemente con la parte de Magma no te puedo ayudar, pero te aconsejo que uses una herramienta de profiling que te ayudará mucho a acotar el problema. Salud! Guiye Guillermo Sapaya Gerente de Desarrollo InfOil S.A. - www.infoil.com.ar Tronador 2244, C1430DKP Buenos Aires, Argentina TEL (5411)4542-9999 int. 122 ----- Original Message ----- From: Norberto Manzanos [mailto:[email protected]] To: [email protected] Sent: Wed, 03 Nov 2010 17:36:44 -0200 Subject: Re: [clubSmalltalk] Buscar en colecciones > Si, use where, un único índice con size 64 (más era terrible). También > le > pongo como readStrategy depth=0, porque en la mayoría de los casos no es > necesario materializar los objetos. La prueba fue que con la estrategia > default tardaba mucho más. > Cuando uso Magma, lo que hace es buscar por ese índice y luego hacer una > búsqueda dentro de los resultados para hacer comparaciones mas finas. Con > 2000 registros el tiempo de agregación era de 2 minutos, el del where de 14 > min y la iteración posterior de 4 min. > Ojo, me olvidé de decir que son 4 colecciones Magma. > > 2010/11/3 Facundo Vozzi <[email protected]> > > > Norberto, > > para buscar en una MagmaCollection usaste where: y configuraste los > > indices? Todavía no probé con 76000 registros, voy a probar. > > > > Abrazo > > > > 2010/11/3 Norberto Manzanos <[email protected]> > > > > No, la verdad que no lo probé. Confié demasiado en que esa tarea la > haría > >> Magma. Voy a probarlo. Gracias. > >> > >> 2010/11/3 Esteban Lorenzano <[email protected]> > >> > >>> supongo que algún problema de indices tenés... pero esto que digo es > tan > >>> una trivialidad que seguro ya lo intentaste: armar un btree ordenado > según > >>> el índice por el cual buscas los duplicados? > >>> > >>> Saludos, > >>> E > >>> > >>> El 03/11/2010, a las 4:04p.m., Norberto Manzanos escribió: > >>> > >>> > >>> Muchachos ( y no tanto) de ClubSmalltalk > >>> > >>> Tengo un problema bastante grande y quería ver si alguien me puede dar > un > >>> consejo. > >>> Tengo una colección de datos en archivos (no es exactamente una base de > >>> datos, pero parecido) entre los cuales hay duplicados. Los duplicados no > son > >>> triviales, hay que hacer algunas cosas para detectarlos, pero ese no es > el > >>> punto. > >>> Una vez que estos datos estén normalizados pueden persistirse de varias > >>> formas, tampoco ese es el problema. > >>> El cuello de botella es la búsqueda en las colecciones. Probé > colecciones > >>> en memoria, colecciones Magma, Sandstone y el problema es siempre el > mismo: > >>> el tiempo que tarda la búsqueda. Magma, que fue lo más eficiente, > podría > >>> llegar a tardar 2 o 3 días para procesar 76000 registros. Un proceso > >>> similar, aunque con objetos más complicados, me tardó 2 semanas hace > un > >>> tiempo. Los de Magma siempre me dicen que algo mal debo estar haciendo, > pero > >>> nunca aparece que es eso que está mal. No creo estar haciendo nada que > pueda > >>> hacer que un proceso que debería tardar algunas horas tarde varios > días o > >>> más. > >>> Estoy a punto de intentar con una base SQL, lo cual me deprime mucho. > >>> ¿Alguien conoce algo para Squeak que permita detectar elementos en > >>> colecciones en forma más eficiente? ¿Algún truco al menos? > >>> > >>> Gracias > >>> > >>> -- > >>> Norberto Manzanos > >>> Instituto de Investigaciones en Humanidades y Ciencias Sociales (IdIHCS) > >>> FaHCE/UNLP - CONICET > >>> Calle 48 e/ 6 y 7 s/Nº - 8º piso - oficina 803 > >>> Tel: +54-221-4230125 interno 262 > >>> > >>> > >>> -- > >>> To post to this group, send email to [email protected] > >>> To unsubscribe from this group, send email to > >>> [email protected] > >>> > >>> http://www.clubSmalltalk.org > >>> > >>> > >>> -- > >>> To post to this group, send email to [email protected] > >>> To unsubscribe from this group, send email to > >>> > [email protected]<clubsmalltalk%[email protected]> > >>> > >>> http://www.clubSmalltalk.org > >>> > >> > >> > >> > >> -- > >> Norberto Manzanos > >> Instituto de Investigaciones en Humanidades y Ciencias Sociales (IdIHCS) > >> FaHCE/UNLP - CONICET > >> Calle 48 e/ 6 y 7 s/Nº - 8º piso - oficina 803 > >> Tel: +54-221-4230125 interno 262 > >> > >> -- > >> To post to this group, send email to [email protected] > >> To unsubscribe from this group, send email to > >> > [email protected]<clubsmalltalk%[email protected]> > >> > >> http://www.clubSmalltalk.org > >> > > > > -- > > To post to this group, send email to [email protected] > > To unsubscribe from this group, send email to > > > [email protected]<clubsmalltalk%[email protected]> > > > > http://www.clubSmalltalk.org > > > > > > -- > Norberto Manzanos > Instituto de Investigaciones en Humanidades y Ciencias Sociales (IdIHCS) > FaHCE/UNLP - CONICET > Calle 48 e/ 6 y 7 s/Nº - 8º piso - oficina 803 > Tel: +54-221-4230125 interno 262 > > -- > To post to this group, send email to [email protected] > To unsubscribe from this group, send email to > [email protected] > > http://www.clubSmalltalk.org -- To post to this group, send email to [email protected] To unsubscribe from this group, send email to [email protected] http://www.clubSmalltalk.org
