clustering (Openmosix)
El sáb, 21-08-2004 a las 23:08, Horst von Brand escribió: Daniel Serpell [EMAIL PROTECTED] dijo: [...] Creo que el migrar conexiones es lo ms fcil, Hay una cantidad sorprendente de estado en una conexion TCP en el nucleo, Asi es. mucho de ello no es duplicable (direccion IP de cada extremo, ...). Eso no es dificil de manejar. Lo que se debe hacer es simplemente generar un nuevo socket en el otro nodo. Migrar el resto del proceso es mas o menos facil. No lo creo. De hecho, es la tarea mas dificil. -- Rodrigo Henriquez M.http://www.corporacionlinux.cl Corporacion Linux S.A. Fonos: 02 2442988 - 02 2444250
clustering (Openmosix)
Daniel Serpell [EMAIL PROTECTED] dijo: [...] Creo que el migrar conexiones es lo más fácil, Hay una cantidad sorprendente de estado en una conexion TCP en el nucleo, mucho de ello no es duplicable (direccion IP de cada extremo, ...). Migrar el resto del proceso es mas o menos facil. -- Dr. Horst H. von Brand User #22616 counter.li.org Departamento de Informatica Fono: +56 32 654431 Universidad Tecnica Federico Santa Maria +56 32 654239 Casilla 110-V, Valparaiso, ChileFax: +56 32 797513 From [EMAIL PROTECTED] Sat Aug 21 23:26:52 2004 From: [EMAIL PROTECTED] (Horst von Brand) Date: Sun Aug 22 00:01:22 2004 Subject: Masterizacion In-Reply-To: Your message of Fri, 20 Aug 2004 12:27:57 -0300. [EMAIL PROTECTED] Message-ID: [EMAIL PROTECTED] Ricardo - Eureka! [EMAIL PROTECTED] dijo: On Thu, Aug 19, 2004 at 04:46:00PM -0400, Horst von Brand wrote: Para que reinstalan rutinariamente? Cuando hay nueva version de la distro, o se requieren corregir problemas de configuracion, o agregar paquetes adicionales. Suele ser mas rapido simplemente reinstalar que corregir uno a uno si los cambios son mayores. Mmmmesa explicacion me parece haberla oido alguna vez de parte de otros sistemas operativosAfortunadamente, mi distribucion no requiere esosolo se instala una vez para siempre, luego solo tienes que actualizar a diario ;) Cierto. Para 1 maquina. Cuando son mas de 30, y hay que estar acomodando nuevas instalaciones y reconfiguraciones, la cosa cambia. -- Dr. Horst H. von Brand User #22616 counter.li.org Departamento de Informatica Fono: +56 32 654431 Universidad Tecnica Federico Santa Maria +56 32 654239 Casilla 110-V, Valparaiso, ChileFax: +56 32 797513 From [EMAIL PROTECTED] Sat Aug 21 23:29:52 2004 From: [EMAIL PROTECTED] (Horst von Brand) Date: Sun Aug 22 00:01:29 2004 Subject: De VPN In-Reply-To: Your message of Fri, 20 Aug 2004 11:46:57 -0400. [EMAIL PROTECTED] Message-ID: [EMAIL PROTECTED] Angelo Astorga P. [EMAIL PROTECTED] dijo: Tengo unas dudas puntuales que me gustaria aclarar... 1. Es posible implementar una VPN (sucursales de regiones), solo a nivel de Server, es decir, que las IP de los clientes de cada LAN puedan repetirse, salvo las IP de los Server. Si no te alcanza con las direcciones reservadas para uso privado, no quiero estar en los zapatos de quien administra tu red... -- Dr. Horst H. von Brand User #22616 counter.li.org Departamento de Informatica Fono: +56 32 654431 Universidad Tecnica Federico Santa Maria +56 32 654239 Casilla 110-V, Valparaiso, ChileFax: +56 32 797513 From [EMAIL PROTECTED] Sat Aug 21 21:40:34 2004 From: [EMAIL PROTECTED] (Horst von Brand) Date: Sun Aug 22 00:01:42 2004 Subject: lideres In-Reply-To: Your message of Fri, 20 Aug 2004 17:18:37 -0400. [EMAIL PROTECTED] Message-ID: [EMAIL PROTECTED] rodrigo ahumada [EMAIL PROTECTED] dijo: alguien conoce algun proyecto de codigo abierto con al menos un lider que no es informatico (que escriba codigo)? Obviamente tiene que saber de computadores pero puede por ejemplo un musico empezar y dirigir un proyecto sin tener que aprender a programar? Me parece recordar que Telsa Gwynne es lider del proyecto de pruebas de Gnome. Entiendo que es enfermera, y no sabe programar una linea. Claro que ser esposa de Alan Cox capaz que supla eso ;-) -- Dr. Horst H. von Brand User #22616 counter.li.org Departamento de Informatica Fono: +56 32 654431 Universidad Tecnica Federico Santa Maria +56 32 654239 Casilla 110-V, Valparaiso, ChileFax: +56 32 797513 From [EMAIL PROTECTED] Sat Aug 21 22:11:50 2004 From: [EMAIL PROTECTED] (Horst von Brand) Date: Sun Aug 22 00:01:48 2004 Subject: sobre Resultados de trabajos propuestos para Encuentro Linux. In-Reply-To: Your message of Fri, 20 Aug 2004 20:38:59 -0300. [EMAIL PROTECTED] Message-ID: [EMAIL PROTECTED] =?iso-8859-1?q?juan=20pablo=20Rumie=20Vittar?= [EMAIL PROTECTED] dijo: [...] A mi personalmente me gustaria participar, solo que vivo en la Argentina, y por ello no tengo chances. El llamado a presentar trabajos no ponia restricciones. Claro que si alguien de Japon presenta algo, podemos vernos en aprietos... Pero seria factible que alguna ves se haga algun concurso (con ejercicios o trabajos sobre distintos temas) o algo asi por medio de la lista donde cualquier persona pueda participar sin importar si vive en Chile o en cualquier parte del mundo, para que cada uno exponga sus ideas? La lista es precisamente para que cualquiera pueda plantear sus puntos de vista... Personalmente a mi me gusta (aunque la mayoria no este de acuerdo) en desarrollar software en Glade+Gtk+C+Perl Cuales son tus razones? Habria sido una buena
clustering (Openmosix)
Hola! El Thu, Aug 19, 2004 at 12:59:14AM -0400, Alvaro Herrera escribio: On Wed, Aug 18, 2004 at 10:50:23PM -0400, Rodrigo Henriquez M. - Corporacion Linux S.A. wrote: AFAIK depende del tipo de conexion y la cantidad de fd que lleve asociados. No entiendo por que ... una conexion es un simple flujo de bytes. Cualquier interpretacion que le quieras dar depende de algo que esta en el proceso, que es parte de los datos que tienen que ser migrados de un nodo a otro. Creo que el migrar conexiones es lo más fácil, lo dificil es migrar el proceso completo. Por ejemplo, mi ssh se comunica con ssh-agent (via shm), con la base LDAP (por nss-ldap), con PAM para autentificar, con los PTY locales para I/O, además de tener en el mapa de memoria una buena cantidad de bibliotecas compartidas. Daniel.
clustering (Openmosix)
On Fri, Aug 20, 2004 at 10:02:34AM -0400, Daniel Serpell wrote: Hola! El Thu, Aug 19, 2004 at 12:59:14AM -0400, Alvaro Herrera escribio: On Wed, Aug 18, 2004 at 10:50:23PM -0400, Rodrigo Henriquez M. - Corporacion Linux S.A. wrote: AFAIK depende del tipo de conexion y la cantidad de fd que lleve asociados. No entiendo por que ... una conexion es un simple flujo de bytes. Cualquier interpretacion que le quieras dar depende de algo que esta en el proceso, que es parte de los datos que tienen que ser migrados de un nodo a otro. Creo que el migrar conexiones es lo más fácil, lo dificil es migrar el proceso completo. Por ejemplo, mi ssh se comunica con ssh-agent (via shm), AFAICS cualquier cosa que use shm es inmigrable, a menos que migres (o copies) todos los procesos que esten conectados al mismo segmento shm. Ojo que ademas debes migrar cualquier mecanismo de locking, junto con el estado de cada lock!!! Mi punto aqui es que migrar un proceso aislado es mas o menos sencillo, migrar los sistemas que se estan comunicando o interoperando es muy dificil. con la base LDAP (por nss-ldap), con PAM para autentificar, Estos dos deberian ser conexiones TCP (migrables), o en el caso de ser sockets locales (unix-domain socket) creo que tambien serian mas o menos inmigrables, a menos que migres o copies el proceso que esta al otro lado del socket. con los PTY locales para I/O, Supongo que el I/O tambien deberia ser migrable de una u otra manera. además de tener en el mapa de memoria una buena cantidad de bibliotecas compartidas. No deberia ser problema. Por supuesto, todo esto es puro 'handwaving' ;-) -- Alvaro Herrera (alvherre[a]dcc.uchile.cl) Major Fambrough: You wish to see the frontier? John Dunbar: Yes sir, before it's gone.
clustering (Openmosix)
On Wed, Aug 18, 2004 at 10:50:23PM -0400, Rodrigo Henriquez M. - Corporacion Linux S.A. wrote: El mié, 18-08-2004 a las 22:20, Alvaro Herrera escribió: [...] La verdad es que es practicamente imposible dada la cantidad gigante de factores (archivos abiertos, procesos, manejo de sesiones, etc, etc). Right. No me acuerdo del ICQ pero ciertamente es _muy_ dificil. Quizas sea posible migrar los programas cliente. Pero antes de poder aseverar algo asi me gustaria que me dijeras si a nivel de kernel se puede migrar una conexion TCP, AFAIK depende del tipo de conexion y la cantidad de fd que lleve asociados. No entiendo por que ... una conexion es un simple flujo de bytes. Cualquier interpretacion que le quieras dar depende de algo que esta en el proceso, que es parte de los datos que tienen que ser migrados de un nodo a otro. Hace poco estuve (tratando mas que nada) de hacer un plugin para heartbeat que permitiera replicar las conexiones ssh de un nodo a otro. La verdad es que me la gano. La cantidad de cosas asociadas que lleva cada conexion (en el caso de SSH : File Descriptors, referencias a PPIDs, punteros a direcciones de memoria entre otras cosas _sabrosas_ casi imposibles de determinar) me hizo abortar el proyecto. Hmm ... todo eso debe pertenecer al espacio de memoria asignado al proceso. Las cosas que no, son parte de las estructuras del thread del kernel del proceso, que obviamente tambien tienes que ser capaz de migrar de un lado a otro. No tenia forma de tomar todas las precauciones necesarias para migrar fielmente la conexion. Claro, el problema ahi es que ya no solo tienes que mover las cosas que dependen de la aplicacion, sino quien sabe cuanta cochinada que puede estar en alguna parte del stack TCP/IP ... Otra cosa que me pregunto es si hay un punto definido para el scheduler en el cual un proceso puede ser migrado. Porque si no, en una maquina SMP puedes tener un proceso en mitad de algo, y migrarlo en este estado debe dejar la escoba en ambos nodos ... En el caso de una conexion de PostgreSQL me imagino que debe ser una _ensalada_ similar. Bueno, si usa SSL puede ser similar a migrar algo SSH, y si no lo usa entonces no. Pero francamente no veo por que podria ser diferente. BTW, ya he probado Slony y anda de pelos. Cool. -- Alvaro Herrera (alvherre[a]dcc.uchile.cl) La tristeza es un muro entre dos jardines (Khalil Gibran)
clustering
rodrigo ahumada wrote: la mitad de la pega es hacer el cluster la otra es hacer programas para el cluster, o hay forma de compartir memoria a traves de la red sin tocar el programa, algo como memoria mapeada,...? Deberia de poderse. Que yo sepa, los computadores que tienen memorias compartidas, usan Gigaethernet y cosas por el estilo, ya que si la tipica swap del disco duro es horrible (corran algo en un pc con 16 de ram) imaginate lo horrible que seria tener swap por red. Yo creo que lo mas facil es hacer algo seti, un servidor central y varios clientes que se conectan a este, piden tareas, las procesan y voila. La gracia es que puedes hacer hibridos (mesclar desde 286 hasta G5) Felipe Cristián Barriga Richards Santiago, Chile http://www.felipebarriga.cl
clustering
On Thu, Aug 19, 2004 at 01:39:54AM -0400, Felipe Cristián Barriga Richards (LISTAS) wrote: rodrigo ahumada wrote: la mitad de la pega es hacer el cluster la otra es hacer programas para el cluster, o hay forma de compartir memoria a traves de la red sin tocar el programa, algo como memoria mapeada,...? Deberia de poderse. Que yo sepa, los computadores que tienen memorias compartidas, usan Gigaethernet y cosas por el estilo, Compartir datos no es tan complicado; la latencia es mala, pero en el caso de la mucha ganancia de rendimiento que podrias tener con un cluster podria justificarse. El problema es cuando quieres hacer algo que necesita tener memoria compartida con baja latencia, como con PostgreSQL. De que se puede se puede, pero el rendimiento es tan horrible que dudo mucho que valga la pena. Probablemente es mucho mejor usar algo de replicacion asincrona como Slony-I, o bien usar un mecanismo de replicacion sincrono como el famoso Postgres-R (aun sin implementar en versiones razonablemente actuales) -- Alvaro Herrera (alvherre[a]dcc.uchile.cl) Postgres is bloatware by design: it was built to house PhD theses. (Joey Hellerstein, SIGMOD annual conference 2002)
clustering
Hola! El Thu, Aug 19, 2004 at 10:29:07AM -0400, Alvaro Herrera escribio: El problema es cuando quieres hacer algo que necesita tener memoria compartida con baja latencia, como con PostgreSQL. De que se puede se puede, pero el rendimiento es tan horrible que dudo mucho que valga la pena. Probablemente es mucho mejor usar algo de replicacion asincrona como Slony-I, o bien usar un mecanismo de replicacion sincrono como el famoso Postgres-R (aun sin implementar en versiones razonablemente actuales) Siempre he pensado que el eso se puede solucionar más facilmente en la aplicación que en la BD misma, al fin y al cabo es el programador del modelo de datos el que maneja más información. Por ejemplo, en los sistemas que nosotros diseñamos existen clientes que hacen un par de tipos de consultas y agregan filas a un par de tablas, de manera constante en el tiempo. Esos clientes pueden perfectamente conectarse a bases que contengan tablas con los valores necesarios por ellos. Un proceso de replicación a nivel de aplicación puede tomar datos de esas bases y consolidarlos rápidamente hacia la base de datos consolidados, también de forma autónoma. Si un cliente externo hace una consulta, la aplicación busca primero en la base de datos consolidados, utilizando índices que aceleran la búsqueda. Si no encuentra en esa base, repite la consulta a las bases menores las que entregan los datos en buto. La aplicación puede entonces presentar al usuario la información de manera transparente. Además, se pueden crear bases con datos históricos, resumenes, etc., y mantener aparte para ser utilizadas cuendo el cliente lo requiera. Daniel.
clustering
On Thu, 19 Aug 2004, Felipe Cristián Barriga Richards (LISTAS) wrote: Deberia de poderse. Que yo sepa, los computadores que tienen memorias compartidas, usan Gigaethernet y cosas por el estilo, ya que si la tipica swap del disco duro es horrible (corran algo en un pc con 16 de ram) imaginate lo horrible que seria tener swap por red. Yo creo que lo mas facil es hacer algo seti, un servidor central y varios clientes que se conectan a este, piden tareas, las procesan y voila. La gracia es que puedes hacer hibridos (mesclar desde 286 hasta G5) Suena bien, el cuento es implementarlo eficientemente, si es que se puede. Eso se llama programacion en paralelo. En general la mayoria de los trabajos no pueden ser divididos en pedazos independientes que no requieran comunicacion con los vecinos. Eso ya hace que tu panacea se vaya al suelo. Por ejemplo una FFT que es muy eficiente para calcular cosas en codigos seriales (no paralelos) es bastante mala a la hora de paralelizar, escencialmente por que en un transformada de Fourier se requiere informacion de todos los puntos para calcular cada punto. Por eso metodos basados en otras tecnicas pueden ser mas eficientes en paralelo, aunque en el codigo serial sean mas lentos. Tampoco es trivial hacer un balanceo de la carga de manera que algunas cpu hagan mas que otras, en los casos tipicos si tienes un 286 en el cluster todas las otras maquinas se pasaran la mayor parte del tiempo esperando que el 286 termine los calculos. Lo que hace SETI es que tienen muchisimos trabajos muy peque~nos y cada uno de ellos es asignado a un procesador distinto que luego devuelve los resultados. No hacen un gran trabajo en paralelo. Xavier
clustering
=?ISO-8859-1?Q?=22Felipe_Cristi=E1n_Barriga_Richards_=28LIS?= =?ISO-8859-1?Q?TAS=29=22?= [EMAIL PROTECTED] dijo: rodrigo ahumada wrote: la mitad de la pega es hacer el cluster la otra es hacer programas para el cluster, o hay forma de compartir memoria a traves de la red sin tocar el programa, algo como memoria mapeada,...? Deberia de poderse. Je. Que yo sepa, los computadores que tienen memorias compartidas, usan Gigaethernet y cosas por el estilo, ya que si la tipica swap del disco duro es horrible (corran algo en un pc con 16 de ram) No es _tan_ horrible... imaginate lo horrible que seria tener swap por red. Lo tuve. Incluso maquinas sin disco, todo por red via NFS. A 10base5. Y andaba OK... El drama se pone horrible cuando procesos en maquinas distintas intentan compartir (cuerdamente!) segmentos de memoria... Yo creo que lo mas facil es hacer algo seti, un servidor central y varios clientes que se conectan a este, piden tareas, las procesan y voila. La gracia es que puedes hacer hibridos (mesclar desde 286 hasta G5) Eso es muy facil de decir, claro. -- Dr. Horst H. von Brand User #22616 counter.li.org Departamento de Informatica Fono: +56 32 654431 Universidad Tecnica Federico Santa Maria +56 32 654239 Casilla 110-V, Valparaiso, ChileFax: +56 32 797513 From =?ISO-8859-1?Q?=22Felipe_Cristi=E1n_Barriga_Richards_=28LIS?= Thu Aug 19 12:10:18 2004 From: =?ISO-8859-1?Q?=22Felipe_Cristi=E1n_Barriga_Richards_=28LIS?= (=?ISO-8859-1?Q?=22Felipe_Cristi=E1n_Barriga_Richards_=28LIS?=) Date: Thu Aug 19 12:09:00 2004 Subject: Es Posible Deshabilitar SSL? In-Reply-To: [EMAIL PROTECTED] References: [EMAIL PROTECTED] [EMAIL PROTECTED] [EMAIL PROTECTED] Message-ID: [EMAIL PROTECTED] Daniel Serpell wrote: El Wed, Aug 18, 2004 at 08:46:46PM -0400, Felipe Cristián Barriga Richards (LISTAS) escribio: Si existe. Busca webmit. Yo lo lo pude hacer funcionar bien, pero deben haber otros programas. A los usuarios les entregas un certificado tuyo, asi ellos se conectan a ti en ssl y tu te conectas al servidor y haces de puente. El usuario lo unico que va a ver es que el certificado no corresponde al sitio visitado. Con lo cual, quitas todo el sentido de seguridad a las conexiones, ie., puedo falsificar el DNS del banco y averiguar todo lo que transfiere a tu red, total los usuarios dentro de ella no se darán cuenta de que el certificado es fraudulento. ¿no será mejor cortar https y decirle a los usuarios que no se pueden utilizar conexiones seguras por política del lugar? Daniel. Osea, lo sano es avisarle a los usuarios que todas las conecciones son analizadas, tanto planas como encriptadas. Si quieren utilizar conecciones seguras, deberan revisar que el certificado que les llegue sea el de la empresa y asi estaran seguros de que la informacion viajara segura pero la empresa podra revisarla a su gusto. La gracia es que puedes revisar el trafico, los usuarios estan advertidos y nadie mas podra sniffear esas conecciones. Yo una vez use la red de una empresa que eran super estrictos. Salias por proxy, no por nat, si veais paginas prohibidas a los 5 minutos te llegaba un email avisando que pares de visitar esos sitios, tenian desabilitado el tunnel por proxy. En buenas cuentas, solo podias meterte a sitios http/https y no podias realizar ni un otro tipo de coneccion. Ignoro como controlaban el trafico https eso si. - Felipe Cristián Barriga Richards Santiago, Chile http://www.felipebarriga.cl From [EMAIL PROTECTED] Thu Aug 19 12:11:27 2004 From: [EMAIL PROTECTED] (=?ISO-8859-1?Q?Jos=E9_Miguel_Vidal_?=Lavin) Date: Thu Aug 19 12:11:47 2004 Subject: Masterizacion In-Reply-To: [EMAIL PROTECTED] References: [EMAIL PROTECTED] Message-ID: [EMAIL PROTECTED] On Thu, 19 Aug 2004 10:31:57 -0400, Angelo Astorga P. wrote Amigos, necesito masterizar (Clonar) a CD 4 perfiles (Server y Usuarios) bajo una configuracion basica de LINUX, esto para ganar tiempo de instalacion y configuracion. Alguien sabe de algun SW CONFIABLE y RAPIDO, que me pueda solucionar este problema, ya que necesito masterizas mas de 150 equipos y estoy contra el tiempo. He probado con PartitionImagen y G4u, PERO REQUIEREN DE OTRO DISCO DURO...BLA BLA BLA... Yo necesito de un SW que me permita masterizar a CD (1 o mas) y luego teniendo un Equipo Virgen, pueda introducir dicho(s) CD(s) y tal cual como se realiza una instalacion de NUX (pero OJALA mas rapido)... se genere el CLON... Agradecido ocupa ghost de symantec -- José Miguel Vidal Lavin Usuario Linux
clustering (Openmosix)
El jue, 19-08-2004 a las 00:59, Alvaro Herrera escribió: AFAIK depende del tipo de conexion y la cantidad de fd que lleve asociados. No entiendo por que ... Te explico. una conexion es un simple flujo de bytes. De acuerdo. Cualquier interpretacion que le quieras dar depende de algo que esta en el proceso, que es parte de los datos que tienen que ser migrados de un nodo a otro. El migrar una conexion no es lo dificil, el problema es hacer una copia fiel del proceso completo en otro nodo. Al principio pensaba igual que tu, pero sobre la marcha me di cuenta de que hay muchas cosas que estan conectadas. Hace poco estuve (tratando mas que nada) de hacer un plugin para heartbeat que permitiera replicar las conexiones ssh de un nodo a otro. La verdad es que me la gano. La cantidad de cosas asociadas que lleva cada conexion (en el caso de SSH : File Descriptors, referencias a PPIDs, punteros a direcciones de memoria entre otras cosas _sabrosas_ casi imposibles de determinar) me hizo abortar el proyecto. Hmm ... todo eso debe pertenecer al espacio de memoria asignado al proceso. Exacto. Las cosas que no, son parte de las estructuras del thread del kernel del proceso, que obviamente tambien tienes que ser capaz de migrar de un lado a otro. Pero no es tan simple como crees. No tenia forma de tomar todas las precauciones necesarias para migrar fielmente la conexion. Claro, el problema ahi es que ya no solo tienes que mover las cosas que dependen de la aplicacion, sino quien sabe cuanta cochinada que puede estar en alguna parte del stack TCP/IP ... Yep. Otra cosa que me pregunto es si hay un punto definido para el scheduler en el cual un proceso puede ser migrado. Porque si no, en una maquina SMP puedes tener un proceso en mitad de algo, y migrarlo en este estado debe dejar la escoba en ambos nodos ... No lo se realmente. No me voy a carrilear. -- Rodrigo Henriquez M.http://www.corporacionlinux.cl Corporacion Linux S.A. Fonos: 02 2442988 - 02 2444250
clustering (Openmosix)
El jue, 19-08-2004 a las 16:49, Horst von Brand escribió: Rodrigo Henriquez M. - Corporacion Linux S.A. [EMAIL PROTECTED] dijo: El jue, 19-08-2004 a las 00:59, Alvaro Herrera escribi: [...] Otra cosa que me pregunto es si hay un punto definido para el scheduler en el cual un proceso puede ser migrado. Porque si no, en una maquina SMP puedes tener un proceso en mitad de algo, y migrarlo en este estado debe dejar la escoba en ambos nodos ... No lo se realmente. No me voy a carrilear. En LKML han estado discutiendo sobre la mejor manera de congelar un proceso para efectos de suspender la maquina. De un vistazo a la discusion me quedo la idea que le falta bastante. Como trabaja hoy en dia? Alguien sabe? IANAKH. -- Rodrigo Henriquez M.http://www.corporacionlinux.cl Corporacion Linux S.A. Fonos: 02 2442988 - 02 2444250
clustering (Openmosix)
On Thu, Aug 19, 2004 at 05:26:29PM -0400, Rodrigo Henriquez M. - Corporacion Linux S.A. wrote: El jue, 19-08-2004 a las 16:49, Horst von Brand escribió: En LKML han estado discutiendo sobre la mejor manera de congelar un proceso para efectos de suspender la maquina. De un vistazo a la discusion me quedo la idea que le falta bastante. Como trabaja hoy en dia? No trabaja. Es parte del sistema para suspender a disco. Claro que IANAKH tampoco ... -- Alvaro Herrera (alvherre[a]dcc.uchile.cl) Estoy de acuerdo contigo en que la verdad absoluta no existe... El problema es que la mentira sí existe y tu estás mintiendo (G. Lama)
clustering (Openmosix)
El mié, 18-08-2004 a las 17:43, Horst von Brand escribió: =?iso-8859-1?q?Marcelo=20Diaz?= [EMAIL PROTECTED] dijo: Usa openmosix..para comenzar a meterse en el mundo cluster te lo recomiendo. Es muy sencillo de hacerlo. Cuidado, Mosix es para correr muchas tarea batch independientes sobre una coleccion de maquinas. MSFT le llama cluster a mecanismos de failover (falla uno, el otro hace el trabajo), y se usa el termino para supercomputadores construidos con muchas maquinas en red. Obviamente, Mosix no require gran red, Yep. failover tampoco; No. Por que no es un sistema de Alta Disponibilidad. supercomputador si. duh? Pero el problema alli no es montar la maquina, es programar las aplicaciones. En MOSIX la unica salvedad al desarrollar las aplicaciones es que no deben usar shared memory. Saludos. -- Rodrigo Henriquez M.http://www.corporacionlinux.cl Corporacion Linux S.A. Fonos: 02 2442988 - 02 2444250
clustering (Openmosix)
On Wed, Aug 18, 2004 at 06:33:04PM -0400, Rodrigo Henriquez M. - Corporacion Linux S.A. wrote: El lun, 09-08-2004 a las 19:18, Marcelo Diaz escribió: Yo en particular implemente el TPCC5 con postgresql y sql embebido en c++ y openmosix. El postmaster y otros procesos no le daban articulo al openmosix, pero si el c++. Tuve buenos resultados. No entendi? Pudiste migrar procesos de tus programas en C++ o estas diciendo que migraste procesos de postgresql? En particular seria interesante saber como se hace para migrar las conexiones a la BD, en el lado del cliente (los procesos servidores de BD me queda mas que claro que no se pueden migrar) -- Alvaro Herrera (alvherre[a]dcc.uchile.cl) Puedes vivir solo una vez, pero si lo haces bien, una vez es suficiente
clustering (Openmosix)
El mié, 18-08-2004 a las 19:16, Alvaro Herrera escribió: On Wed, Aug 18, 2004 at 06:33:04PM -0400, Rodrigo Henriquez M. - Corporacion Linux S.A. wrote: El lun, 09-08-2004 a las 19:18, Marcelo Diaz escribió: Yo en particular implemente el TPCC5 con postgresql y sql embebido en c++ y openmosix. El postmaster y otros procesos no le daban articulo al openmosix, pero si el c++. Tuve buenos resultados. No entendi? Pudiste migrar procesos de tus programas en C++ o estas diciendo que migraste procesos de postgresql? En particular seria interesante saber como se hace para migrar las conexiones a la BD, en el lado del cliente (los procesos servidores de BD me queda mas que claro que no se pueden migrar) Una vez intente hacer eso (creo que lo conversamos por ICQ). La verdad es que es practicamente imposible dada la cantidad gigante de factores (archivos abiertos, procesos, manejo de sesiones, etc, etc). Irrumpir en algo asi, es mucho mas traumatico que meterse en el disen~o de postgresql para hacer replicacion nativa (lo cual me imagino que es muy traumatico :) ). Lo unico que conozco que hace algo similar pero no es nativo es Slony (http://gborg.postgresql.org/project/slony1/projdisplay.php). -- Rodrigo Henriquez M.http://www.corporacionlinux.cl Corporacion Linux S.A. Fonos: 02 2442988 - 02 2444250
clustering (Openmosix)
On Wed, Aug 18, 2004 at 07:42:40PM -0400, Rodrigo Henriquez M. - Corporacion Linux S.A. wrote: El mié, 18-08-2004 a las 19:16, Alvaro Herrera escribió: En particular seria interesante saber como se hace para migrar las conexiones a la BD, en el lado del cliente (los procesos servidores de BD me queda mas que claro que no se pueden migrar) Una vez intente hacer eso (creo que lo conversamos por ICQ). La verdad es que es practicamente imposible dada la cantidad gigante de factores (archivos abiertos, procesos, manejo de sesiones, etc, etc). Right. No me acuerdo del ICQ pero ciertamente es _muy_ dificil. Quizas sea posible migrar los programas cliente. Pero antes de poder aseverar algo asi me gustaria que me dijeras si a nivel de kernel se puede migrar una conexion TCP, y como harias al otro extremo para cambiar la direccion de destino. O el cluster comparte direcciones virtuales y hay alguna especie de proxy? Irrumpir en algo asi, es mucho mas traumatico que meterse en el disen~o de postgresql para hacer replicacion nativa (lo cual me imagino que es muy traumatico :) ). Lo unico que conozco que hace algo similar pero no es nativo es Slony (http://gborg.postgresql.org/project/slony1/projdisplay.php). Slony-I es el proyecto de replicacion Postgres mas importante. (switchover, replica entre versiones, etc). A que te refieres con que no es nativo? Sea como sea, no tiene nada que ver con migrar procesos; las bases de datos siguen siendo separadas (aunque sean replicas exactas). Slony-I se libera por el Postgres Global Development Group (los mismos que liberan Postgres), bajo la misma licencia, y el desarrollo lo hacen las mismas personas ... se conserva como un proyecto separado para permitir que funcione limpiamente entre distintas versiones (es decir, para progresar independientemente, y no tener que soportar una version antigua solo porque venia con un Postgres antiguo). Lo de hacer replicacion nativa no tiene mucho sentido en general; creo que a lo que te estarias refiriendo es a hacer replicacion sincrona versus asincrona (que es lo que hace Slony-I, y todo el resto de sistemas de replicacion) -- Alvaro Herrera (alvherre[a]dcc.uchile.cl) Para tener más hay que desear menos
clustering (Openmosix)
El mié, 18-08-2004 a las 22:20, Alvaro Herrera escribió: [...] La verdad es que es practicamente imposible dada la cantidad gigante de factores (archivos abiertos, procesos, manejo de sesiones, etc, etc). Right. No me acuerdo del ICQ pero ciertamente es _muy_ dificil. Quizas sea posible migrar los programas cliente. Pero antes de poder aseverar algo asi me gustaria que me dijeras si a nivel de kernel se puede migrar una conexion TCP, AFAIK depende del tipo de conexion y la cantidad de fd que lleve asociados. No es lo mismo (intentar) migrar una conexion HTTP que una SSH, por poner un ejemplo. Hace poco estuve (tratando mas que nada) de hacer un plugin para heartbeat que permitiera replicar las conexiones ssh de un nodo a otro. La verdad es que me la gano. La cantidad de cosas asociadas que lleva cada conexion (en el caso de SSH : File Descriptors, referencias a PPIDs, punteros a direcciones de memoria entre otras cosas _sabrosas_ casi imposibles de determinar) me hizo abortar el proyecto. No tenia forma de tomar todas las precauciones necesarias para migrar fielmente la conexion. Mi unica opcion en este caso, es aprender el protocolo SSH completo entre otras cosas mas y no tengo tiempo para eso :-( En el caso de una conexion de PostgreSQL me imagino que debe ser una _ensalada_ similar. y como harias al otro extremo para cambiar la direccion de destino. O el cluster comparte direcciones virtuales y hay alguna especie de proxy? El cluster maneja una IP que es flotante entre ambos nodos y que se encuentra en el nodo que este activo en el cluster. Claro que eso es en un modelo Activo/Pasivo. En un modelo Activo/Activo, se puede asignar un balanceador de trafico antes de los dos (o mas nodos) o se puede balancear con VRRP o algun protocolo de enrutamiento redundante. Irrumpir en algo asi, es mucho mas traumatico que meterse en el disen~o de postgresql para hacer replicacion nativa (lo cual me imagino que es muy traumatico :) ). Lo unico que conozco que hace algo similar pero no es nativo es Slony (http://gborg.postgresql.org/project/slony1/projdisplay.php). Slony-I es el proyecto de replicacion Postgres mas importante. (switchover, replica entre versiones, etc). A que te refieres con que no es nativo? Que no viene directamente embebido dentro de las opciones de postgresql (como lo hace MySQL). Ahora, no digo que esto sea una desventaja. Sea como sea, no tiene nada que ver con migrar procesos; Obviamente. las bases de datos siguen siendo separadas (aunque sean replicas exactas). Yup. Slony-I se libera por el Postgres Global Development Group (los mismos que liberan Postgres), bajo la misma licencia, y el desarrollo lo hacen las mismas personas ... se conserva como un proyecto separado para permitir que funcione limpiamente entre distintas versiones (es decir, para progresar independientemente, y no tener que soportar una version antigua solo porque venia con un Postgres antiguo). Lo de hacer replicacion nativa no tiene mucho sentido en general; creo que a lo que te estarias refiriendo es a hacer replicacion sincrona versus asincrona (que es lo que hace Slony-I, y todo el resto de sistemas de replicacion) No. Me referia a que no venia directamente embebido como una opcion mas dentro de PostgreSQL. Pero como comentaste recien, la separacion es mas efectiva ya que permite realizar replicacion independiente de la version. BTW, ya he probado Slony y anda de pelos. Saludos. -- Rodrigo Henriquez M.http://www.corporacionlinux.cl Corporacion Linux S.A. Fonos: 02 2442988 - 02 2444250
clustering (Openmosix)
On Mon, 9 Aug 2004, Marcelo Diaz wrote: [...] El tema fundamental en un cluster se basa en la conexion entre las maquinas.. lo ideal seria Gigabit. Pero aun asi seguira siendo un cuello y poner Fibra Optica es muy costoso. En realidad lo importante no es la fibra, si no redes de baja latencia. En cuanto ancho de banda no son muy superiores a gigabit por que estan limitadas por el bus pci. Las redes ideales son Myrinet, SCI, Infiniband o Quadrics, cual mas cara que la otra, Myrinet es lo mas barato que son como 600 dolares por interfaz (en USA). Aunque usar esas redes en un cluster con mosix seria un desperdicio, por que ni siquiera usan protocolo tcp/ip. Xavier From =?UTF-8?B?IkZlbGlwZSBDcmlzdGnDoW4gQmFycmlnYSBSaWNoYXJkcyAoTElTVEFTKQ==?= Tue Aug 10 00:28:25 2004 From: =?UTF-8?B?IkZlbGlwZSBDcmlzdGnDoW4gQmFycmlnYSBSaWNoYXJkcyAoTElTVEFTKQ==?= (=?UTF-8?B?IkZlbGlwZSBDcmlzdGnDoW4gQmFycmlnYSBSaWNoYXJkcyAoTElTVEFTKQ==?=) Date: Tue Aug 10 00:28:46 2004 Subject: Tecla F5 (refresh) recarga apache In-Reply-To: [EMAIL PROTECTED] References: [EMAIL PROTECTED] Message-ID: [EMAIL PROTECTED] Juan Carlos Freres escribió: Hola lista. Alguien conoce como hacer para que no te hagan pedazos la carga de un servidor apache con dejar apretada la tecla F5 del teclado? Estoy usando Apache 1.3.31 Que directivas hay que tocar? Gracias. No deberia porque pasar nada a lo mas saturar el pc del cliente que deja presionada la tecla F5. Puedes bajar un programa para Windows que se llama Shadow Secutiry Scanner, tiene una opcion que es para probar la estabilidad de varios servicios (www,ftp,etc). Prueba corriendolo al maximo, va a mandar muchas peticiones por segundo (mas de las que puedes enviar dejando apretada la tecla F5). Yo lo probe en una red local de 100mbps versus un servidor Apache corriendo en un P3 de 500mhz y no le hiso ni pio. Se que hay programas que hacen lo mismo para linux pero no se su nombre. Felipe Cristián Barriga Richards Santiago, Chile
clustering
El Sun, Aug 08, 2004 at 11:01:03AM -0400, rodrigo ahumada escribio: o hay forma de compartir memoria a traves de la red sin tocar el programa, algo como memoria mapeada,...? Facil, puedes montar un directorio por NFS y luego mmapear un archivo en ese directorio hacia tus programas[1]... la latencia seria horrible eso si. Afortunadamente, las tareas que yo necesito con frecuencia pueden distribuirse bien entre distintos procesos sin necesidad de compartir muchos datos (distcc es un buen ejemplo). Daniel. [1] no se si realmente se puede hacer mmap de un archivo por NFS, y no me llama tanto la atencion como para probar.
clustering (Openmosix)
Usa openmosix..para comenzar a meterse en el mundo
cluster te lo recomiendo. Es muy sencillo de hacerlo.
Lo que si por ejemplo no vas a poder correr ciertos
programas. Por ej: Oracle, Postgresql.. pero hay otras
cosas en las que son muy utilies.
Yo en particular implemente el TPCC5 con postgresql y
sql embebido en c++ y openmosix.
El postmaster y otros procesos no le daban articulo al
openmosix, pero si el c++. Tuve buenos resultados.
El tema fundamental en un cluster se basa en la
conexion entre las maquinas.. lo ideal seria Gigabit.
Pero aun asi seguira siendo un cuello y poner Fibra
Optica es muy costoso.
=
Marcelo Diaz. Corrientes - Argentina.
___
100mb gratis, Antivirus y Antispam
Correo Yahoo!, el mejor correo web del mundo
http://correo.yahoo.com.ar
From [EMAIL PROTECTED] Mon Aug 9 20:10:30 2004
From: [EMAIL PROTECTED] (Edgard Pineda Leone.)
Date: Mon Aug 9 20:10:40 2004
Subject: pasar parametros a ejecutables #!
In-Reply-To: [EMAIL PROTECTED]
References: [EMAIL PROTECTED]
[EMAIL PROTECTED]
[EMAIL PROTECTED]
[EMAIL PROTECTED]
[EMAIL PROTECTED]
[EMAIL PROTECTED]
Message-ID: [EMAIL PROTECTED]
On Mon, 9 Aug 2004, Cristian Gutierrez wrote:
Edgard Pineda wrote:
[...]
Si sé, pero estoy usando un programa hecho en php (getid3)
para analizar media files y sacarles mas informacion. Simplemente lo
quiero usar desde un script, sin tocar el código php de ese
programa. No quiero desarrollar algo de cero.
Que tal algo como:
,
| # perl -MCPAN -e 'install File::Headerinfo'
| [... esperar un rato y presionar `yes' unas cuantas veces ...]
|
| $ perl -MFile::Headerinfo -MData::Dumper -e \
| 'print Dumper(File::Headerinfo-read(shift))' \
| /algun/archivo/de/video.mpg
| $VAR1 = {
| 'width' = 192,
| 'filetype' = 'riff',
| 'version' = undef,
| 'duration' = '79.4039376',
| 'height' = 144,
| 'filesize' = '10802688',
| 'datarate' = 1000,
| 'vcodec' = 'IV50',
| 'freq' = undef,
| 'fps' = '12.9968365699789',
| 'metadata' = undef
| };
`
Ok, pero File::HeaderInfo usa Video::Info, y éste no es tan poderoso como
por ejemplo algunos formatos de archivos .mov. He usado Video::Info, pero
despues que encontré getid3 y lo probé con un set de media files que
tengo (y extraños además...), me resultó mejor que Video::Info en
reconocimiento... por eso quiero complementar lo que tengo con getid3 (que
lamentablemente está programado en php, no por el lenguaje, mas que nada
por que el sistema que desarrollo no tiene nada de php... pero ahora
tendré que usarlo)
gracias nuevamente!
Edgard.
clustering
On Sat, 7 Aug 2004, Horst von Brand wrote: Mosix es un sistema de distribucion de tareas batch entre maquinas. Beowulf para construir supercomputadores en base a maquinas conectadas en red. Mosix lanza tareas independientes a maquinas desocupadas, Beowulf corre una gran tarea dividida en trozos. Dentro de un beowulf tambien se usa un sistema de colas de procesos que se encarga de distribuir los trabajos, estos pueden ser tanto en paralelo o no. El escenario tipico en un beowulf es que se estan corriendo varios trabajos, cada uno usando varios procesadores pero no todos. En todo caso, nada se gana haciendo un cluster de 486, con suerte lograras el rendimiento de un p2. Xavier From [EMAIL PROTECTED] Sun Aug 8 11:01:03 2004 From: [EMAIL PROTECTED] (rodrigo ahumada) Date: Sun Aug 8 11:01:19 2004 Subject: clustering Message-ID: [EMAIL PROTECTED] la mitad de la pega es hacer el cluster la otra es hacer programas para el cluster, o hay forma de compartir memoria a traves de la red sin tocar el programa, algo como memoria mapeada,...? From: Xavier Andrade [EMAIL PROTECTED] Reply-To: Discusion de Linux en Castellano linux@listas.inf.utfsm.cl To: Discusion de Linux en Castellano linux@listas.inf.utfsm.cl Subject: Re: clustering Date: Sun, 8 Aug 2004 02:40:26 -0400 (CLT) On Sat, 7 Aug 2004, Horst von Brand wrote: Mosix es un sistema de distribucion de tareas batch entre maquinas. Beowulf para construir supercomputadores en base a maquinas conectadas en red. Mosix lanza tareas independientes a maquinas desocupadas, Beowulf corre una gran tarea dividida en trozos. Dentro de un beowulf tambien se usa un sistema de colas de procesos que se encarga de distribuir los trabajos, estos pueden ser tanto en paralelo o no. El escenario tipico en un beowulf es que se estan corriendo varios trabajos, cada uno usando varios procesadores pero no todos. En todo caso, nada se gana haciendo un cluster de 486, con suerte lograras el rendimiento de un p2. Xavier _ Charla con tus amigos en línea mediante MSN Messenger: http://messenger.latam.msn.com/
clustering
On Sun, 8 Aug 2004, rodrigo ahumada wrote: la mitad de la pega es hacer el cluster la otra es hacer programas para el cluster, Yo diria que no son mitad y mitad, son dos pegas distintas y no necesariamente correlacionadas, la primera es en general mas facil. o hay forma de compartir memoria a traves de la red sin tocar el programa, algo como memoria mapeada,...? Hay algunas formas, hay incluso unos tipos que implementan memoria compartida sobre mosix. El problema es que es terriblemente ineficiente por que la red es varios ordenes de magnitud mas lenta que la memoria (en ancho de banda y sobre todo en latencia). Asi que de todos modos no seria llegar y correr cualquier aplicacion pensada para una maquina SMP sobre un cluster, hay que dise\~narla explicitamente. Xavier From [EMAIL PROTECTED] Mon Aug 9 00:47:14 2004 From: [EMAIL PROTECTED] (Enrique Herrera Noya) Date: Mon Aug 9 00:52:48 2004 Subject: Distro de Linux Chilensis In-Reply-To: [EMAIL PROTECTED] References: [EMAIL PROTECTED] [EMAIL PROTECTED] [EMAIL PROTECTED] Message-ID: [EMAIL PROTECTED] MozStyle escreveu: Hola, es primera vez que escribo ya que soy bastante neofito en Linux y deseo aprender. Por esto me interesa saber si existe en el ambiente underground alguna Distro Chilena y dónde bajarla. casi, esta en etapa alpha3 pronto en beta , para testing... De no existir, pienso que seria bueno para nuestro país que algun grupo enfrentara el desafio de realizar una Distro Chilena basada en Debian quizá. ¿Se interesaria alguno de Ustedes? Gracias MozStyle -- Enrique Herrera Noya http://counter.li.org #79041 Asesorias y Desarrollo en LINUX Celu:09-4325790 Distribución y Capacitación OpenOffice Iglu: 56-2-2721341 Jabber: [EMAIL PROTECTED] ICq: 52419812 +38 pero solo uso 25 Un Linuxero al Municipio, Vota Libre , Vota Tux
clustering
hola en: http://www.hispacluster.org/modules.php?op=modloadname=XForumfile=viewthreadtid=26 me encontré un post bastante interesante y me bajo la curiosidad de como podria hacerse algo parecido, alguen conoce algo del tema o alguna experiencia??, alguen podria indicarme donde buscar informacion del tema, mas que nada acerca de la configuracion del hardware??? Gracias.
clustering
El vie, 06 de 08 de 2004 a las 23:58, oscar farias escribió: hola en: http://www.hispacluster.org/modules.php?op=modloadname=XForumfile=viewthreadtid=26 me encontré un post bastante interesante y me bajo la curiosidad de como podria hacerse algo parecido, alguen conoce algo del tema o alguna experiencia??, alguen podria indicarme donde buscar informacion del tema, mas que nada acerca de la configuracion del hardware??? Gracias.
clustering
lo que quise decir es que generalmente los que prueban mosix esperan que el quake les ande en tarros viejos y despues se enojan por que queda igual. me corrijo: mosix hace parecer que un computador corre varios programas mas rapido, cuando en realidad los otros computadores le estan ayudando. From: Rodrigo Henriquez M. [EMAIL PROTECTED] Reply-To: Discusion de Linux en Castellano linux@listas.inf.utfsm.cl To: Discusion de Linux en Castellano linux@listas.inf.utfsm.cl Subject: Re: clustering Date: Sat, 07 Aug 2004 09:17:03 -0400 El sáb, 07-08-2004 a las 09:41, rodrigo ahumada escribió: quieres hacer un cluster con mosix? mosix es mas para una sala de computacion, ni se nota que esta andando. Ademas mosix hace que un computador corra varios programas mas rapido, mas que hacer que un solo programa ande mas rapido. No. MOSIX distribuye los procesos entre varios nodos determinando la disponibilidad de cada uno. El proceso es entregado a un solo nodo, el cual procesa y luego entrega la informacion al nodo que gesto el proceso. Es similar a lo que hace SMP. Hacer una pila de placas interconectadas yo lo veo mas para clusters tipo beowulf, pero con eso el problema no es el cluster sino que los programas deben ser escritos para el. Como siempre, depende de lo que se quiera hacer. Ro. _ MSN Amor: busca tu ½ naranja http://latam.msn.com/amor/
Clustering
Se~nores, Recuerdo que hace algún tiempo surgió el tema de clustering, les comento que el último número de la revista SysAdmin (julio 2004, Volumen 13, número 7) viene dedicado al tema. Saludos -- Alejandro Barros e.nable From [EMAIL PROTECTED] Thu Jul 8 15:29:40 2004 From: [EMAIL PROTECTED] (Rodrigo Gutierrez Torres) Date: Thu Jul 8 15:29:28 2004 Subject: HP DeskJet 695C: =?iso-8859-1?q?=BFignorancia=3F?= Message-ID: [EMAIL PROTECTED] Hola a To2: Tengo la impresora de la referencia. En mi máquina tengo XP en una partición y FC2 en la otra. En XP la impresora funciona. En Fedora, intento hacerla funcionar. Seguí las instrucciones que encontré en www.linuxprinting.org: bajé los drivers e instalé con Configuración de la impresora (printconf-gui) en KDE, pero el único puerto que aparece es el ptal, y no el /dev/lp0 como dice la documentación que debiera aparecer. La instalación con el ptal (que no tengo idea cual es en realidad) no arroja errores... pero tampoco página impresa. Intenté con lpr -P /dev/lp0 paso.txt, pero tampoco me dió resultado. Llevo en esto dos semanas y aún no puedo imprimir nada. ¿Alguna sugerencia? Salu2,
