Comparto la idea de Gilberto, un web service sería lo más indicado para este caso en particular, creo que una ETL con Pentaho, no va a cubrir todo lo que necesita realizar
Es mi opinión Saludos -----Mensaje original----- De: pgsql-es-ayuda-ow...@postgresql.org [mailto:pgsql-es-ayuda-ow...@postgresql.org] En nombre de Gilberto Castillo Enviado el: miércoles, 13 de julio de 2016 10:42 Para: david buenaño <davidbuena...@gmail.com> CC: jvenegasperu . <jvenegasp...@gmail.com>; Francis Santiago <santiago...@gmail.com>; pgsql-es-ayuda <pgsql-es-ayuda@postgresql.org> Asunto: Re: [MASSMAIL] Re: [pgsql-es-ayuda] Fwd: Actualizar o insertar datos en postgres de SQL Server > Hola, muchas gracias por la ayuda, ya voy a hacer lo que me indicas. No queda claro lo que quieres, pero yo me haría un webservice, que me despache esa info. > efectivamente puede ser que esté subvalorando pentaho o quizás estoy > explicando mal mi necesidad. > > El negocio básicamente es que tengo un sistema que administra el pago > de un bono o subsidio en mi país para lo cual de acuerdo a la > normativa que tiene este bono, tengo que realizar cruces de datos > mensualmente con diferentes instituciones como por ejemplo para saber > si la persona ha fallecido, entre mucha otra información que posee de > otras instituciones. Sin embargo, en el mismo sistema parte del > negocio, van ingresando información que recopilan en visitas > domiciliarias que también influye para el pago o no. > > Actualmente las instituciones nos entregan en un archivo plano txt y > manualmente cargo en una tabla y de esa tabla actualizo en las tablas > que requiero. > > La razón por la cual planteo la consulta de la interconexión con sql > server es que donde llegan directamente esos archivos es a otra > instancia de esta institución, que ellos cargan en su base de datos y > para no realizar un doble proceso de carga quiero consumir desde mi > base de datos solo lo que requiero. > > Y con toda la información que se actualiza una vez por mes trabajan a > diario todos los responsables vinculados a la gestión de este bono, > verificando información de cada uno de los registros. > > Finalmente, expuesto lo anterior, creo que para lo que requiero, > debido a que la necesidad es actualizar la información para el trabajo > por cada uno de los registros que opera con mi aplicativo, no me > serviría pentaho, pues necesitaría que la información esté actualizada > en postgres para el consumo de la informació > > Espero haber aclarado más mi problema. > > PD: Tal vez por mi desconocimiento de pentaho, puede ser que esté > equivocado y lo mejor sea utilizar esa herramienta, voy a leer la > información proporcionada y les contaré como me fue. Muchas gracias > nuevamente > > El 12 de julio de 2016, 23:45, jvenegasperu . <jvenegasp...@gmail.com> > escribió: > >> Hola David >> Me sorprende que digas que Pentaho no te sirve o te estoy entendiendo >> mal quiza >> >> Veras yo tengo una situación similar mensualmente debo actualizar mi >> base de datos postgres de una base de datos oracle.de hecho en >> algunos casos hago actualizaciones diarias otras semanales >> quincenales y mensuales >> >> Creo que lo que te sugiere Francis seria lo ideal pentaho es >> excelente para estas situaciones. >> >> aqui te dejo el link de pentaho >> http://community.pentaho.com/projects/data-integration/ >> >> y aqui un buen manual >> http://wiki.pentaho.com/display/EAIes/Manual+del+Usuario+de+Spoon >> >> Si te planteas las transformaciones y los jobs de pentaho como si >> fueran capas o clases en programación de seguro migrar los datos a >> postgres te resultara super facil seria mas o menos asi: >> >> 0.- Crea tus scripts con los datos que quieres obtener haciendo >> pruebas primero dentro del propio motor de BD origen y destino luego >> usaras esos scripts como primeros y ultimos pasos en las >> transformaciones >> >> 1.- crea las transformaciones en pentaho trabajando con pocas tablas >> digamos unas 4 o 5 no importa si tienes que procesar 30 tablas te >> sugiero hacer pequeñas transformaciones es como si en programacion >> estuvieras separando en archivos para mejorar su mantenimiento. >> >> 2.- Crea un trabajo donde vayas juntando las transformaciones. esto >> debe ser asi por si cambia la logica de negocio el trabajo seguira >> siendo el mismo y probablemente solo tengas que alterar alguna de las >> transformaciones sin tener que buscar dentro de todo un archivo >> complejo >> >> 3.- Genera una tarea programada para que ejecute el trabajo segun la >> frecuencia que necesitas mientras te tomas un cafe ;-) >> >> saludos y espero te sirva >> >> PD: hay casos en los que pentaho te da tipo de dato UNKNOW y no se >> puede migrar directo es decir alguien crea su propio tipo de dato que >> pentaho no entiende pero que si lo revisas finalmente es un dato >> cadena fecha etc en esos casos debes poner manualmente el tipo de >> dato que recibiras y luego si quieres al recibirlo lo parseas con un >> trigger o algun otro mecanismo y ya lo tienes igual que en el origen >> saludos. >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> El 12 de julio de 2016, 11:07, david buenaño <davidbuena...@gmail.com> >> escribió: >> >>> Hola, Muchas gracias por la respuesta, sin embargo, para lo que >>> requiero >>> no me sirve, debido a que para las reglas del negocio y los controles >>> puestos requiero que sea actualizado mes a mes la base de datos de >>> postgres. >>> >>> Actualmente se realiza el el cruce y actualización de información en mi >>> base de datos cargando varios archivos, básicamente un procesamiento >>> por >>> lotes. Pero para el negocio institucional, se alojarán todos los >>> archivos >>> de otras instituciones (7) en una base de datos en SQL Server (maneja >>> un >>> sistema más grande) y de ahí necesito actualizar en postgres. >>> >>> Muchas gracias nuevamente >>> >>> >>> >>> El 12 de julio de 2016, 10:31, Francis Santiago <santiago...@gmail.com> >>> escribió: >>> >>>> David! >>>> >>>> Haz pensado en utilizar herramientas adicionales como Pentaho? son >>>> bastante buenas para resolver este tipo de inconvenientes. Creas una >>>> ETL y >>>> listo. Creo es la solución más optima. Yo la he usado con MySQL, >>>> Oracle >>>> hacia PostgreSQL, por ejemplo. >>>> >>>> Saludos; >>>> >>>> El 12 de julio de 2016, 11:14, david buenaño<davidbuena...@gmail.com> >>>> escribió: >>>> >>>>> Hola, deseo actualizar algunos campos que tengo en una base de datos >>>>> de >>>>> postgres de una base de datos de SQL server que se encuentra en otro >>>>> servidor. >>>>> >>>>> Actualmente, lo realizo manualmente descargandome un reporte de la >>>>> base >>>>> de datos de SQL server y manualmente lo cargo en una tabla que creo >>>>> en >>>>> postgres y actualizo los campos que requiero combinando según >>>>> coincida, sin >>>>> embargo, este es un proceso mensual que deseo automatizar. >>>>> >>>>> Adicionalmente hay que considerar que de la base de datos en SQL >>>>> server >>>>> solamente tengo privilegios de consulta, mientras que en la de >>>>> postgres soy >>>>> el DBA. >>>>> >>>>> Aproximadamente los registros a actualizar serían unos 70.000 >>>>> >>>>> Me he planteado tres posibilidades: >>>>> >>>>> 1) Linkear de alguna manera entre las dos bases de datos y mediante >>>>> procesos almacenados en postgres actualizar todos los campos que >>>>> requiero y >>>>> mediante un job o simplemente llamando a la función que crearía para >>>>> actualizar o insertar los datos que requiero. >>>>> >>>>> 2) Mediante un aplicativo por ejemplo realizado en JAVA crear el >>>>> procedimiento para que actualicen los registros. >>>>> >>>>> 3) Seguir realizando todo manualmente. >>>>> >>>>> Agradezco mucho su ayuda orientandome cual sería la mejor posibilidad >>>>> >>>>> >>>> >>>> >>>> -- >>>> *Francis del Carmen Santiago Cermeño* >>>> *Ingeniero en Informática * >>>> *Certification PostgreSQL Associate* >>>> *Certification **PostgreSQL 9.4 Professional* >>>> *Twiter:* sancfc >>>> *Celular: +56952456172 <%2B56952456172>* >>>> [image: LinkedIn] >>>> *https://www.linkedin.com/in/sancfc >>>> <https://www.linkedin.com/in/sancfc>* >>>> >>>> >>>> >>> >> >> >> -- >> José Mercedes Venegas Acevedo >> cel Mov RPC 964185205 >> >> skype jvenegasperu >> facebook jvenegasperu >> <jvenegasp...@gmail.com> >> > -- Saludos, Gilberto Castillo ETECSA, La Habana, Cuba - Enviado a la lista de correo pgsql-es-ayuda (pgsql-es-ayuda@postgresql.org) Para cambiar tu suscripci n: http://www.postgresql.org/mailpref/pgsql-es-ayuda - Enviado a la lista de correo pgsql-es-ayuda (pgsql-es-ayuda@postgresql.org) Para cambiar tu suscripci�n: http://www.postgresql.org/mailpref/pgsql-es-ayuda
