[pgsql-es-ayuda] Re: [pgsql-es-ayuda] Duda con real: ¿se perdieron l as decenas y unidades?
El día 1 de febrero de 2010 22:26, Juan Carlos Villalobos C escribió: > Saludos listeros, tengo una BD postgres 8.1.18 con un hosting. En una tabla > se cambio una columna de tipo numerico a tipo real para que aceptara datos > mas grandes, teniendo entendido que era mejor no tener de tipo numerico sino > de un tipo en particular. > > Al agregar un registro y estableciendo como valor para la columna real de > 16777216, pero luego al recuperar el valor devuelve 1.67772e+07 lo cual > equivale a 16777200. > ¿Que paso con los 16? ¿Debo cambiar entonces de tipo de dato? > > Supongo que algo me perdi en el manual. > > Gracias por su ayuda. > > > Cordial Saludo > Juan Carlos Si no vas a usar decimales, te conviene usar el "bigint". Silvio -- TIP 4: No hagas 'kill -9' a postmaster
[pgsql-es-ayuda] Restauracion con excesivos recursos
Masters, estoy restaurando una base de datos muy grande, la cosa es que demora varios dias y cuando lo estoy haciendo el samba se me plancha. y debo cortar, que puede estar pasando?. uso ubuntu 9.10 saludos.
Re: [pgsql-es-ayuda] Restauracion con excesivos recursos
coconauta wrote: > Masters, estoy restaurando una base de datos muy grande, la cosa es que > demora varios dias y cuando lo estoy haciendo el samba se me plancha. y debo > cortar, que puede estar pasando?. uso ubuntu 9.10 > saludos. > Hola - ¿Que tiene que ver samba con la restauracion de una base de datos? - ¿Como estas restaurando la base de datos? - ¿Que tamaño tiene la base de datos a restaurar? - ¿Que caracteristicas tiene la maquina donde estas restaurando la base de datos? -- Rafael Martinez, Center for Information Technology Services University of Oslo, Norway PGP Public Key: http://folk.uio.no/rafael/ -- TIP 2: puedes desuscribirte de todas las listas simultáneamente (envía "unregister TuDirecciónDeCorreo" a majord...@postgresql.org)
Re: [pgsql-es-ayuda] Restauracion con excesivos recursos
El 2 de febrero de 2010 09:54, Rafael Martinez escribió: > coconauta wrote: > > Masters, estoy restaurando una base de datos muy grande, la cosa es que > > demora varios dias y cuando lo estoy haciendo el samba se me plancha. y > debo > > cortar, que puede estar pasando?. uso ubuntu 9.10 > > saludos. > > > > Hola > > - ¿Que tiene que ver samba con la restauracion de una base de datos? > - ¿Como estas restaurando la base de datos? > - ¿Que tamaño tiene la base de datos a restaurar? > - ¿Que caracteristicas tiene la maquina donde estas restaurando la base > de datos? > > -- > Rafael Martinez, > Center for Information Technology Services > University of Oslo, Norway > > PGP Public Key: http://folk.uio.no/rafael/ > u...ajjaa.. ya se que no tiene nada que ver. al parecer me consume toos los recursos de la maquina la restauracion la estoy haciendo desde un archivo plano con llamadas a una funcion que hace los insert el tamaño, mmm, varios Gb.. son padrones con mas de 30millones de personas, sumado a que se calculan los campos tsvector (dentro de la funcion) la maquina es un athlon 3200 con 1gb de ram y disco con bastante espacio libre. el postgres es la ultima version le hize un vacum vebose analyze y no me recomendo nada. mi grupo sanguineo es O+..jajaaa abrazo
[pgsql-es-ayuda] Re: [pgsql-es-ayuda] Re: [pgsql-es-ayuda] Duda con real: ¿se perdieron las decenas y unidades?
Si no vas a usar decimales, te conviene usar el "bigint". Que estas almacenando en ese campo? Si requieres mantener toda la precisión del número fué un tremendo error cambiar un decimal por un real. La recomendación sería: 1. Si no usas decimales y tus valores están dentro de un BIGINT usalo. 2. Si usas decimales o tus números se salen del tamaño de un BIGINT, usa un DECIMAL. Recuerda a los campos DECIMAL (coma fija) les puedes especificar cuantos dígitos y cuántos decimales van a trabajar, así que teóricamente puedes almacenar cualquier número. 3. Recuerda que SIEMPRE es más rápido y ocupa menos espacio trabajar con un BIGINT que con un DECIMAL equivalente. 4. Ese número lo usas para hacer algún cálculo? Si no lo estas usando para ningún cálculo, podrías utilizar un varchar(). Atentamente, RAUL DUQUE Bogotá, Colombia -- TIP 2: puedes desuscribirte de todas las listas simultáneamente (envía "unregister TuDirecciónDeCorreo" a majord...@postgresql.org)
Re: [pgsql-es-ayuda] Restauracion con excesivos recursos
Que me perdonen los Ubunteros pero cada vez me convence menos para desplegar una base de datos PostgreSQL. En la versión 8.4, existe la opción -j del pg_restore, para hacer restauraciones paralelas, lo cual puedes usar en dependencia del número de procesadores que tengas. Por ejemplo si posees un Quad Core, puedes dejarle el -j en 3 o 4, si es un servidor dedicado. Realmente no sé qué tiene que ver Samba con PostgreSQL, a lo mejor sería que el 2do se está comiendo toda la memoria y dejará al 1ero sin poder usarla, no sé si estoy equivocado, pero pudiera ser. Responde las preguntas de Rafael y ya veremos. Saludos P.D: Usa CentOS, Debian o FreeBSD para tu base de datos, es mi modesta recomendación. Ing. Marcos Luís Ortíz Valmaseda PostgreSQL SysDBA && Rails Apprentice Centro de Tecnologías de Almacenamiento y Análisis de Datos (CENTALAD) Universidad de las Ciencias Informáticas (http://www.uci.cu) Linux User # 418229 http://www.postgresql.org http://www.postgresql-es.org http://www.rubyonrails.org http://www.ruby-lang.org/es/ http://www.planetrubyonrails.org/ http://www.planetpostgresql.org - Mensaje original - De: "Rafael Martinez" Para: "coconauta" CC: pgsql-es-ayuda@postgresql.org Enviados: Martes, 2 de Febrero 2010 7:54:31 (GMT-0500) Auto-Detected Asunto: Re: [pgsql-es-ayuda] Restauracion con excesivos recursos coconauta wrote: > Masters, estoy restaurando una base de datos muy grande, la cosa es que > demora varios dias y cuando lo estoy haciendo el samba se me plancha. y debo > cortar, que puede estar pasando?. uso ubuntu 9.10 > saludos. > Hola - ¿Que tiene que ver samba con la restauracion de una base de datos? - ¿Como estas restaurando la base de datos? - ¿Que tamaño tiene la base de datos a restaurar? - ¿Que caracteristicas tiene la maquina donde estas restaurando la base de datos? -- Rafael Martinez, Center for Information Technology Services University of Oslo, Norway PGP Public Key: http://folk.uio.no/rafael/ -- TIP 2: puedes desuscribirte de todas las listas simultáneamente (envía "unregister TuDirecciónDeCorreo" a majord...@postgresql.org) -- TIP 10: no uses HTML en tu pregunta, seguro que quien responda no podr� leerlo
RE: [pgsql-es-ayuda] Restauracion con excesivos recursos
> -Mensaje original- > De: Marcos Luis Ortiz Valmaseda > Enviado el: Martes, 02 de Febrero de 2010 11:48 > Para: Rafael Martinez > CC: pgsql-es-ayuda@postgresql.org; coconauta > Asunto: Re: [pgsql-es-ayuda] Restauracion con excesivos recursos > > Que me perdonen los Ubunteros pero cada vez me convence menos > para desplegar una base de datos PostgreSQL. ¿Algún fundamento detrás de esta declaración o es sólo un pálpito? En particular me interesa como es que no recomiendas Ubuntu pero si Debian. ¿Qué diferencias notaste? -- TIP 7: no olvides aumentar la configuración del "free space map"
Re: [pgsql-es-ayuda] Restauracion con excesivos recursos
Hola, >> coconauta wrote: >> > Masters, estoy restaurando una base de datos muy grande, la cosa es que >> > demora varios dias y cuando lo estoy haciendo el samba se me plancha. y >> > debo >> > cortar, que puede estar pasando?. uso ubuntu 9.10 >> > saludos. >> > >> - ¿Que tiene que ver samba con la restauracion de una base de datos? Siguiendo la pregunta de Rafael, deduzco que: O una de dos, estas levantando el backup desde un compartido o tenes corriendo el samba y lo estan usando. > u...ajjaa.. ya se que no tiene nada que ver. al parecer me consume toos > los recursos de la maquina > la restauracion la estoy haciendo desde un archivo plano con llamadas a una > funcion que hace los insert Me intriga. Estas ejecutando una función que carga el archivo a través de inserts? desde donde? que estas usando para esto? > el tamaño, mmm, varios Gb.. No. Tratá de ser exacto. No es lo mismo varios GB que 4,10,40,500,1000 ... >son padrones con mas de 30millones de personas, Esto tampoco dice nada. Puede ser un registro extenso, pequeño... > sumado a que se calculan los campos tsvector (dentro de la funcion) > la maquina es un athlon 3200 con 1gb de ram y disco con bastante espacio > libre. 1 GB de RAM es poco, estimando una base de + de 40 GB. Calculo que estamos hablando de que instalastes un Ubuntu sin entorno gráfico y lista de servicios depurados. La cantidad de espacio libre en disco no te asegura que va a ser rápido, simplemente que no te quedes sin espacio. > el postgres es la ultima version > le hize un vacum vebose analyze y no me recomendo nada. > mi grupo sanguineo es O+..jajaaa Joya, ya tengo donante :P -- Emanuel Calvo Franco DBA at: www.siu.edu.ar www.emanuelcalvofranco.com.ar Join: http://www.thevenusproject.com/ -- TIP 2: puedes desuscribirte de todas las listas simult�neamente (env�a "unregister TuDirecci�nDeCorreo" a majord...@postgresql.org)
[pgsql-es-ayuda] problema funcionalidad
hola, tengo una bd postgresql 8.4 pra varias plataformas en el mismo servidor de gama baja. el problema radica en k no se como rastrear cual de esas plataformas me esta poniendo excesivamente la bd. Inicialmente detecte el caso pk borre la bd por completo pero sigue lenta, no se si exista algo como el administrador de tareas de windows que me permita ver cual o cuales son los procesos que me estan generando el problema.
Re: [pgsql-es-ayuda] problema funcionalidad
El día 2 de febrero de 2010 16:47, arturo chavarro escribió: > hola, > tengo una bd postgresql 8.4 pra varias plataformas en el mismo servidor de > gama baja. > el problema radica en k no se como rastrear cual de esas plataformas me esta > poniendo excesivamente la bd. > > Inicialmente detecte el caso pk borre la bd por completo pero sigue lenta, > no se si exista algo como el administrador de tareas de windows que me > permita ver cual o cuales son los procesos que me estan generando el > problema. > podias usar un simple 'top' y ordenar ya sea por mayor consumo de cpu o ram, también podrias usar ps, algo como : ps -aux | grep postgres -- Atentamente, Moisés Alberto Lindo Gutarra Asesor - Desarrollador Java / Open Source Linux Registered User #431131 - http://counter.li.org/ Cel: (511) 995081720 MSN: mli...@tumisolutions.com -- TIP 2: puedes desuscribirte de todas las listas simultáneamente (envía "unregister TuDirecciónDeCorreo" a majord...@postgresql.org)
Re: [pgsql-es-ayuda] problema funcionalidad
arturo chavarro escribió: > hola, > tengo una bd postgresql 8.4 pra varias plataformas en el mismo servidor de > gama baja. > el problema radica en k no se como rastrear cual de esas plataformas me esta > poniendo excesivamente la bd. pg_top? -- Alvaro Herrera Vendo parcela en Valdivia: http://alvherre.cl/caboblanco really, I see PHP as like a strange amalgamation of C, Perl, Shell inflex: you know that "amalgam" means "mixture with mercury", more or less, right? i.e., "deadly poison" -- TIP 3: Si encontraste la respuesta a tu problema, publícala, otros te lo agradecerán
Re: [pgsql-es-ayuda] problema funcionalidad
Moises Alberto Lindo Gutarra wrote: El día 2 de febrero de 2010 16:47, arturo chavarro escribió: hola, tengo una bd postgresql 8.4 pra varias plataformas en el mismo servidor de gama baja. el problema radica en k no se como rastrear cual de esas plataformas me esta poniendo excesivamente la bd. Inicialmente detecte el caso pk borre la bd por completo pero sigue lenta, no se si exista algo como el administrador de tareas de windows que me permita ver cual o cuales son los procesos que me estan generando el problema. podias usar un simple 'top' y ordenar ya sea por mayor consumo de cpu o ram, también podrias usar ps, algo como : ps -aux | grep postgres Pudieras usar también pg_fouine, py ver cuáles consultas te están cargando tu memoria. Comienza con valores altos (de 5 a 10 milisegundos) y luego ve bajando. Saludos -- "Para ser realmente grande, hay que estar con la gente, no por encima de ella." Montesquieu Ing. Marcos Luís Ortíz Valmaseda PostgreSQL System DBA && DWH -- BI Apprentice Centro de Tecnologías de Almacenamiento y Análisis de Datos (CENTALAD) Universidad de las Ciencias Informáticas Linux User # 418229 -- PostgreSQL -- "TIP 4: No hagas 'kill -9' a postmaster" http://www.postgresql-es.org http://www.postgresql.org http://www.planetpostgresql.org -- DWH + BI -- The Data WareHousing Institute http://www.tdwi.org http://www.tdwi.org/cbip - <>-- TIP 5: ¿Has leído nuestro extenso FAQ? http://www.postgresql.org/docs/faqs.FAQ.html
Re: [pgsql-es-ayuda] Restauracion con excesivos recursos
Paso a explicar los archivos planos tiene lineas como "cargapersona(campo1,campo2,.)" y estoy hablando de archivos que tiene un peso de por ejemplo 1715M. ahi me salta la primer duda... cuando leo el archivo en pgsql con \i no estara intentando traer el archivo completo a memoria? Entorno grafico aun lo tengo activo sin aceleracion ni nada de VGA, la iea es una vez que tenga todo funcional desactivar el modo. el pgadmin3 me facilita mucho las cosas tengo poca memo.. ya se.. es que trabajoo para la provincia,.. y que te compren algo de 2 mangos es complicado. sigo pensando que es el tamaño del archivo .sql Con respecto a lo que dice Rafael, aun sigo creyendo en postgres, mis problemas son mayoritariamente por falta de conocimientos de linux y de psotgres o por meter la pata en mi desesperacion.- Saludos
Re: [pgsql-es-ayuda] Restauracion con excesivos recursos
coconauta escribió: > Paso a explicar los archivos planos tiene lineas como > "cargapersona(campo1,campo2,.)" ¿Y qué hace esa función? ¿Hay BEGIN/COMMIT en alguna parte del archivo? Eso puede hacer una diferencia muy grande. > ahi me salta la primer duda... cuando leo el archivo en pgsql con \i no > estara intentando traer el archivo completo a memoria? No confundas el uso de memoria del cliente con el uso de memoria del servidor. -- Alvaro Herrera Vendo parcela en Valdivia: http://rie.cl/?a=255568 "You're _really_ hosed if the person doing the hiring doesn't understand relational systems: you end up with a whole raft of programmers, none of whom has had a Date with the clue stick." (Andrew Sullivan) -- TIP 2: puedes desuscribirte de todas las listas simultáneamente (envía "unregister TuDirecciónDeCorreo" a majord...@postgresql.org)
Re: [pgsql-es-ayuda] Restauracion con excesivos recursos
El día 2 de febrero de 2010 19:02, coconauta escribió: > Paso a explicar los archivos planos tiene lineas como > "cargapersona(campo1,campo2,.)" > y estoy hablando de archivos que tiene un peso de por ejemplo 1715M. > > ahi me salta la primer duda... cuando leo el archivo en pgsql con \i no > estara intentando traer el archivo completo a memoria? > > Entorno grafico aun lo tengo activo sin aceleracion ni nada de VGA, la iea > es una vez que tenga todo funcional desactivar el modo. el pgadmin3 me > facilita mucho las cosas > > tengo poca memo.. ya se.. es que trabajoo para la provincia,.. y que te > compren algo de 2 mangos es complicado. > > sigo pensando que es el tamaño del archivo .sql > > > Con respecto a lo que dice Rafael, aun sigo creyendo en postgres, mis > problemas son mayoritariamente por falta de conocimientos de linux y de > psotgres o por meter la pata en mi desesperacion.- > > Saludos > ¿Cada instrucción está separada por ";"? ¿Probaste con cat archivo.sql | psql ? ¿Qué hace el cargapersona? Te recomiendo que cortes el archivo, procesando primero 2000 registros. Luego, corré un vacuum y luego traé el millón restante. Cuando esté ejecutándose, abrí una consola y hacé "top" y fijate cuál es el proceso que se come el procesador. Si hay alguno que no sea de postgres, matalo o bajá el servicio. -- Silvio Quadri -- TIP 7: no olvides aumentar la configuración del "free space map"
Re: [pgsql-es-ayuda] Restauracion con excesivos recursos
El 2 de febrero de 2010 19:13, Alvaro Herrera escribió: > coconauta escribió: > > Paso a explicar los archivos planos tiene lineas como > > "cargapersona(campo1,campo2,.)" > > ¿Y qué hace esa función? > > ¿Hay BEGIN/COMMIT en alguna parte del archivo? Eso puede hacer una > diferencia muy grande. > > > ahi me salta la primer duda... cuando leo el archivo en pgsql con \i no > > estara intentando traer el archivo completo a memoria? > > No confundas el uso de memoria del cliente con el uso de memoria del > servidor. > > -- > Alvaro Herrera Vendo parcela en Valdivia: http://rie.cl/?a=255568 > "You're _really_ hosed if the person doing the hiring doesn't understand > relational systems: you end up with a whole raft of programmers, none of > whom has had a Date with the clue stick." (Andrew Sullivan) > si la funcion la tengo encerrada en un begin commit; la funcion que hace?. begin 1- busca la provincia sino esta la inserta 2-busca la localidad sino esta la inserta 3- busca la persona si esta busca si ya esta su direcion sino inserta la direccion, sino no esta la persona la carga 4- en caso de una excepcion de sql no completo inserta todo los datos en una tablita commit; los distintos campos tsvector (para nombre y direccion) no los cargo, los dejo para despues asi "demora menos" eso basicamente.
[pgsql-es-ayuda] Re: [pgsql-es-ayuda] Re: [pgsql-es-ayuda] Duda con real: ¿se perdieron las decenas y unidades?
Muchas gracias por la información tanto a Raul como a Silvio. Voy a realizar el cambio sugerido. Nuevamente gracias. Cordial saludo Juan Carlos -- From: "Raúl Andrés Duque Murillo" Sent: Tuesday, February 02, 2010 09:42 AM To: "Silvio Quadri" ; "Juan Carlos Villalobos C" Cc: Subject: Re: [pgsql-es-ayuda] Re: [pgsql-es-ayuda] Duda con real: ¿se perdieron las decenas y unidades? Si no vas a usar decimales, te conviene usar el "bigint". Que estas almacenando en ese campo? Si requieres mantener toda la precisión del número fué un tremendo error cambiar un decimal por un real. La recomendación sería: 1. Si no usas decimales y tus valores están dentro de un BIGINT usalo. 2. Si usas decimales o tus números se salen del tamaño de un BIGINT, usa un DECIMAL. Recuerda a los campos DECIMAL (coma fija) les puedes especificar cuantos dígitos y cuántos decimales van a trabajar, así que teóricamente puedes almacenar cualquier número. 3. Recuerda que SIEMPRE es más rápido y ocupa menos espacio trabajar con un BIGINT que con un DECIMAL equivalente. 4. Ese número lo usas para hacer algún cálculo? Si no lo estas usando para ningún cálculo, podrías utilizar un varchar(). Atentamente, RAUL DUQUE Bogotá, Colombia -- TIP 2: puedes desuscribirte de todas las listas simultáneamente (envía "unregister TuDirecciónDeCorreo" a majord...@postgresql.org)
Re: [pgsql-es-ayuda] Restauracion con excesivos recursos
ups... hice un TOP mientras cargo desde un archivo de 112397k .. el %CPU para postgres va de 18% a 56% haaa. las lineas de los archivos son select cargaper(..);
Re: [pgsql-es-ayuda] Restauracion con excesivos recursos
coconauta escribió: > si la funcion la tengo encerrada en un begin commit; > la funcion que hace?. > begin > 1- busca la provincia sino esta la inserta > 2-busca la localidad sino esta la inserta > 3- busca la persona si esta busca si ya esta su direcion sino inserta la > direccion, sino no esta la persona la carga > 4- en caso de una excepcion de sql no completo inserta todo los datos en una > tablita > commit; O sea una transacción por cada línea del archivo? Eso es indudablemente muy muy lento. Para una carga inicial, no deberías hacer búsquedas de las localidades y provincias. Una búsqueda por cada registro es muy lento. Yo te recomendaría meter todo el registro sin hacer ninguna conversión en una tabla temporal; después haces consultas SQL que hagan prellenado de las tablas de provincia y localidad usando DISTINCT, y luego mueves las personas en la tabla de personas, y sus direcciones donde corresponda. Todo en una sola transacción. No en una transacción por persona porque eso es lo que te mata el rendimiento. -- Alvaro Herrera Vendo parcela en Valdivia: http://rie.cl/?a=255568 "Crear es tan difícil como ser libre" (Elsa Triolet) -- TIP 5: ¿Has leído nuestro extenso FAQ? http://www.postgresql.org/docs/faqs.FAQ.html
[pgsql-es-ayuda] backup
hola listeros, existe la forma de hacer un backup a una tabla pero con restricciones??? o sea solo algunos registros de la tabla, los que cumplan la condición, gracias de antemano -- TIP 3: Si encontraste la respuesta a tu problema, publ�cala, otros te lo agradecer�n
Re: [pgsql-es-ayuda] backup
2010/2/2 Arcel Labrada Batista : > > > existe la forma de hacer un backup a una tabla pero con restricciones??? > > o sea solo algunos registros de la tabla, los que cumplan la condición, > gracias de antemano > copy (select ) to 'archivo' -- Atentamente, Jaime Casanova Soporte y capacitación de PostgreSQL Asesoría y desarrollo de sistemas Guayaquil - Ecuador Cel. +59387171157 -- TIP 8: explain analyze es tu amigo
Re: [pgsql-es-ayuda] backup
Arcel Labrada Batista escribió: > existe la forma de hacer un backup a una tabla pero con restricciones??? No. Si quieres eso, usa COPY. -- Alvaro Herrera Vendo parcela en Valdivia: http://rie.cl/?a=255568 "It takes less than 2 seconds to get to 78% complete; that's a good sign. A few seconds later it's at 90%, but it seems to have stuck there. Did somebody make percentages logarithmic while I wasn't looking?" http://smylers.hates-software.com/2005/09/08/1995c749.html -- TIP 4: No hagas 'kill -9' a postmaster
