Muchas gracias, ya voy a ver la documentación para hacerlo con pentaho. Se ve prometedor. Aunque un web service es una alternativa, voy a analizar cual es la mejor opción.
Muchas gracias El 13 de julio de 2016, 9:32, jvenegasperu . <jvenegasp...@gmail.com> escribió: > David > Buen dia cuando tuve que lidiar con algo parecido al igual que tu pensaba > conectar directamente a Oracle en mi caso para tomar solo lo que necesito > pero finalmente opte por migrar toda la data a postgres ya que me permitia > mayores capacidades de analisis y reportes al trabajar con otras tablas en > mis sistemas. > > Quiza tu preocupación sea el hecho de que habria que esperar a que > postgres este actualizado para poder trabajar y podrias evitar la espera > conectando directamente. > > Yo diria que evalues la necesidad de tener la información online o si > puedes esperar un par de minutos es decir en mi caso por ejemplo migro de > oracle a postgres con pentaho aproximadamente 200 mil registros mensual. > OJO los datos se actualizan en ambos en algunos casos se actualiza de > oracle a postgres en otros de postgres a oracle. > > En hardware no tengo mucho el equipo con postgres que lee de oracle tiene > este hardware > Servidor con 8 Gb de RAM procesador core i5 de 3 Ghz > > El trabajo lo hace en tan solo 70 segundos usando JAVA a 64 bits dandole > un Giga de RAM para uso del pentaho. > > Por otro lado como dice Gilberto probablemente un web service tambien te > sirva aunque cuando son datos en bloque yo particularmente prefiero > pentaho. la unica pega es que probablemente tendras que ver los tipos de > datos a mano en alguno que otro caso > > > > > > > > > > > > > El 13 de julio de 2016, 8:34, david buenaño <davidbuena...@gmail.com> > escribió: > >> Hola, muchas gracias por la ayuda, ya voy a hacer lo que me indicas. >> >> efectivamente puede ser que esté subvalorando pentaho o quizás estoy >> explicando mal mi necesidad. >> >> El negocio básicamente es que tengo un sistema que administra el pago de >> un bono o subsidio en mi país para lo cual de acuerdo a la normativa que >> tiene este bono, tengo que realizar cruces de datos mensualmente con >> diferentes instituciones como por ejemplo para saber si la persona ha >> fallecido, entre mucha otra información que posee de otras instituciones. >> Sin embargo, en el mismo sistema parte del negocio, van ingresando >> información que recopilan en visitas domiciliarias que también influye para >> el pago o no. >> >> Actualmente las instituciones nos entregan en un archivo plano txt y >> manualmente cargo en una tabla y de esa tabla actualizo en las tablas que >> requiero. >> >> La razón por la cual planteo la consulta de la interconexión con sql >> server es que donde llegan directamente esos archivos es a otra instancia >> de esta institución, que ellos cargan en su base de datos y para no >> realizar un doble proceso de carga quiero consumir desde mi base de datos >> solo lo que requiero. >> >> Y con toda la información que se actualiza una vez por mes trabajan a >> diario todos los responsables vinculados a la gestión de este bono, >> verificando información de cada uno de los registros. >> >> Finalmente, expuesto lo anterior, creo que para lo que requiero, debido a >> que la necesidad es actualizar la información para el trabajo por cada uno >> de los registros que opera con mi aplicativo, no me serviría pentaho, pues >> necesitaría que la información esté actualizada en postgres para el consumo >> de la informació >> >> Espero haber aclarado más mi problema. >> >> PD: Tal vez por mi desconocimiento de pentaho, puede ser que esté >> equivocado y lo mejor sea utilizar esa herramienta, voy a leer la >> información proporcionada y les contaré como me fue. Muchas gracias >> nuevamente >> >> El 12 de julio de 2016, 23:45, jvenegasperu . <jvenegasp...@gmail.com> >> escribió: >> >>> Hola David >>> Me sorprende que digas que Pentaho no te sirve o te estoy entendiendo >>> mal quiza >>> >>> Veras yo tengo una situación similar mensualmente debo actualizar mi >>> base de datos postgres de una base de datos oracle.de hecho en algunos >>> casos hago actualizaciones diarias otras semanales quincenales y mensuales >>> >>> Creo que lo que te sugiere Francis seria lo ideal pentaho es excelente >>> para estas situaciones. >>> >>> aqui te dejo el link de pentaho >>> http://community.pentaho.com/projects/data-integration/ >>> >>> y aqui un buen manual >>> http://wiki.pentaho.com/display/EAIes/Manual+del+Usuario+de+Spoon >>> >>> Si te planteas las transformaciones y los jobs de pentaho como si fueran >>> capas o clases en programación de seguro migrar los datos a postgres te >>> resultara super facil seria mas o menos asi: >>> >>> 0.- Crea tus scripts con los datos que quieres obtener haciendo pruebas >>> primero dentro del propio motor de BD origen y destino luego usaras esos >>> scripts como primeros y ultimos pasos en las transformaciones >>> >>> 1.- crea las transformaciones en pentaho trabajando con pocas tablas >>> digamos unas 4 o 5 no importa si tienes que procesar 30 tablas te sugiero >>> hacer pequeñas transformaciones es como si en programacion estuvieras >>> separando en archivos para mejorar su mantenimiento. >>> >>> 2.- Crea un trabajo donde vayas juntando las transformaciones. esto debe >>> ser asi por si cambia la logica de negocio el trabajo seguira siendo el >>> mismo y probablemente solo tengas que alterar alguna de las >>> transformaciones sin tener que buscar dentro de todo un archivo complejo >>> >>> 3.- Genera una tarea programada para que ejecute el trabajo segun la >>> frecuencia que necesitas mientras te tomas un cafe ;-) >>> >>> saludos y espero te sirva >>> >>> PD: hay casos en los que pentaho te da tipo de dato UNKNOW y no se puede >>> migrar directo es decir alguien crea su propio tipo de dato que pentaho no >>> entiende pero que si lo revisas finalmente es un dato cadena fecha etc en >>> esos casos debes poner manualmente el tipo de dato que recibiras y luego si >>> quieres al recibirlo lo parseas con un trigger o algun otro mecanismo y ya >>> lo tienes igual que en el origen saludos. >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> El 12 de julio de 2016, 11:07, david buenaño <davidbuena...@gmail.com> >>> escribió: >>> >>>> Hola, Muchas gracias por la respuesta, sin embargo, para lo que >>>> requiero no me sirve, debido a que para las reglas del negocio y los >>>> controles puestos requiero que sea actualizado mes a mes la base de datos >>>> de postgres. >>>> >>>> Actualmente se realiza el el cruce y actualización de información en mi >>>> base de datos cargando varios archivos, básicamente un procesamiento por >>>> lotes. Pero para el negocio institucional, se alojarán todos los archivos >>>> de otras instituciones (7) en una base de datos en SQL Server (maneja un >>>> sistema más grande) y de ahí necesito actualizar en postgres. >>>> >>>> Muchas gracias nuevamente >>>> >>>> >>>> >>>> El 12 de julio de 2016, 10:31, Francis Santiago <santiago...@gmail.com> >>>> escribió: >>>> >>>>> David! >>>>> >>>>> Haz pensado en utilizar herramientas adicionales como Pentaho? son >>>>> bastante buenas para resolver este tipo de inconvenientes. Creas una ETL y >>>>> listo. Creo es la solución más optima. Yo la he usado con MySQL, Oracle >>>>> hacia PostgreSQL, por ejemplo. >>>>> >>>>> Saludos; >>>>> >>>>> El 12 de julio de 2016, 11:14, david buenaño<davidbuena...@gmail.com> >>>>> escribió: >>>>> >>>>>> Hola, deseo actualizar algunos campos que tengo en una base de datos >>>>>> de postgres de una base de datos de SQL server que se encuentra en otro >>>>>> servidor. >>>>>> >>>>>> Actualmente, lo realizo manualmente descargandome un reporte de la >>>>>> base de datos de SQL server y manualmente lo cargo en una tabla que creo >>>>>> en >>>>>> postgres y actualizo los campos que requiero combinando según coincida, >>>>>> sin >>>>>> embargo, este es un proceso mensual que deseo automatizar. >>>>>> >>>>>> Adicionalmente hay que considerar que de la base de datos en SQL >>>>>> server solamente tengo privilegios de consulta, mientras que en la de >>>>>> postgres soy el DBA. >>>>>> >>>>>> Aproximadamente los registros a actualizar serían unos 70.000 >>>>>> >>>>>> Me he planteado tres posibilidades: >>>>>> >>>>>> 1) Linkear de alguna manera entre las dos bases de datos y mediante >>>>>> procesos almacenados en postgres actualizar todos los campos que >>>>>> requiero y >>>>>> mediante un job o simplemente llamando a la función que crearía para >>>>>> actualizar o insertar los datos que requiero. >>>>>> >>>>>> 2) Mediante un aplicativo por ejemplo realizado en JAVA crear el >>>>>> procedimiento para que actualicen los registros. >>>>>> >>>>>> 3) Seguir realizando todo manualmente. >>>>>> >>>>>> Agradezco mucho su ayuda orientandome cual sería la mejor posibilidad >>>>>> >>>>>> >>>>> >>>>> >>>>> -- >>>>> *Francis del Carmen Santiago Cermeño* >>>>> *Ingeniero en Informática * >>>>> *Certification PostgreSQL Associate* >>>>> *Certification **PostgreSQL 9.4 Professional* >>>>> *Twiter:* sancfc >>>>> *Celular: +56952456172 <%2B56952456172>* >>>>> [image: LinkedIn] >>>>> *https://www.linkedin.com/in/sancfc >>>>> <https://www.linkedin.com/in/sancfc>* >>>>> >>>>> >>>>> >>>> >>> >>> >>> -- >>> José Mercedes Venegas Acevedo >>> cel Mov RPC 964185205 >>> >>> skype jvenegasperu >>> facebook jvenegasperu >>> <jvenegasp...@gmail.com> >>> >> >> > > > -- > José Mercedes Venegas Acevedo > cel Mov RPC 964185205 > > skype jvenegasperu > facebook jvenegasperu > <jvenegasp...@gmail.com> >
