RE: [JUG-Indonesia] Kettle : Error connection lost

2008-09-04 Terurut Topik Tjong, Andreas
Regards, Andreas _ From: jug-indonesia@yahoogroups.com [mailto:[EMAIL PROTECTED] On Behalf Of Feris Thia Sent: Thursday, September 04, 2008 11:53 AM To: jug-indonesia@yahoogroups.com Subject: Re: [JUG-Indonesia] Kettle : Error connection lost O ya, Untuk referensi ntar saya bantu

Re: [JUG-Indonesia] Kettle : Error connection lost

2008-09-04 Terurut Topik Joshua Partogi
-indonesia@yahoogroups.com Subject: Re: [JUG-Indonesia] Kettle : Error connection lost O ya, Untuk referensi ntar saya bantu cari karena saya memang lagi melengkapi dokumentasi yang terkait dengan MySQL sebagai database source dan staging. Kalau ada info lebih lanjut saya update ya ;) Thanks

Re: [JUG-Indonesia] Kettle : Error connection lost

2008-09-04 Terurut Topik Feris Thia
Wah, Pertanyaan yang sulit dijawab, ini tergantung : - masifnya data - waktu pemindahan data - jumlah workaround yang bisa dilakukan - jumlah waktu yang kita punya untuk menyelesaikan proyek - kemampuan menganalisa, membuat hipotesa dan melakukan test untuk reverse engineering Tapi biasanya...

Re: [JUG-Indonesia] Kettle : Error connection lost

2008-09-04 Terurut Topik Feris Thia
Ya gpp, ada ahli BI baru... Kebanyakan sekarang banyak perusahaan salah solusi dan kasihan orang IT disuruh buat laporan yang ga abis-abisnya... Padahal dengan makin mengerti BI maka kita bisa leverage data kita apalagi sudah ada produk open source :) Regards, Feris 2008/9/4 Joshua Partogi

Re: [JUG-Indonesia] Kettle : Error connection lost

2008-09-04 Terurut Topik Feris Thia
O iya, Ini OOT... tapi kalau berminat di isu-isu data management. Mungkin ini ada konsep baru yang layak dilihat, dimana nanti data warehousing menjadi tidak begitu relevan lagi. Mirip2 JMS atau message broker gitu... http://www.sqlstream.com/ Regards, Feris

RE: [JUG-Indonesia] Kettle : Error connection lost

2008-09-04 Terurut Topik Tjong, Andreas
@yahoogroups.com Subject: Re: [JUG-Indonesia] Kettle : Error connection lost Wah, Pertanyaan yang sulit dijawab, ini tergantung : - masifnya data - waktu pemindahan data - jumlah workaround yang bisa dilakukan - jumlah waktu yang kita punya untuk menyelesaikan proyek - kemampuan menganalisa

Re: [JUG-Indonesia] Kettle : Error connection lost

2008-09-03 Terurut Topik Joshua Partogi
Mungkin pada saat si Kettle transfer data, networknya padat sekali, jadi koneksinya putus. Caranya bisa bandwithnya yang digedein (tapi ini keknya gak mungkin) atau commit size-nya yang di tuning. Kalau mau pake metode append, harus ada parameter untuk menentukan data yang terakhir dimasukkan.

Re: [JUG-Indonesia] Kettle : Error connection lost

2008-09-03 Terurut Topik Feris Thia
Hi Guys, Saya akan follow up isu ini, sori agak sibuk jadi belum bisa fokus mungkin ntar malam. Untuk last_update juga tidak begitu bisa dijadikan jaminan. Untuk strategi yang Bung Joshua propose memang menjadi hal klasik yang kelihatannya sepele tapi cukup ribet. Coba lihat di artikel saya di

Re: [JUG-Indonesia] Kettle : Error connection lost

2008-09-03 Terurut Topik Joshua Partogi
CDC ini kalau misalnya proses data transformation-nya putus di tengah jalan kan? Dan masalahnya gak semua database punya fitur seperti ini. Contohnya database AS400 yang jadul. On Thu, Sep 4, 2008 at 9:32 AM, Feris Thia [EMAIL PROTECTED] wrote: Hi Guys, Saya akan follow up isu ini, sori agak

Re: [JUG-Indonesia] Kettle : Error connection lost

2008-09-03 Terurut Topik martinus j wahyudi
] To: jug-indonesia@yahoogroups.com Sent: Thursday, 4 September, 2008 9:48:16 Subject: Re: [JUG-Indonesia] Kettle : Error connection lost Yup... makanya ini masalah yang kompleks. Seperti misalnya clipper, disuruh capture data change ? wow... Tapi pernah training orang Mandiri, katanya di DB2 yang

Re: [JUG-Indonesia] Kettle : Error connection lost

2008-09-03 Terurut Topik Feris Thia
Hi Bung Martinus, Yup.. termasuk transaksi backdatenya. Solusi biasanya memakai timestamp, tapi satu hal saja kelemahan timestamp : bagaimana kalau data asal bisa dihapus ? Jadi kita harus agak hati-hati dengan ini. Kita akan kehilangan referensinya dan tidak bisa diquery kecuali di-match satu

Re: [JUG-Indonesia] Kettle : Error connection lost

2008-09-03 Terurut Topik Feris Thia
@yahoogroups.com Sent: Thursday, 4 September, 2008 9:48:16 Subject: Re: [JUG-Indonesia] Kettle : Error connection lost Yup... makanya ini masalah yang kompleks. Seperti misalnya clipper, disuruh capture data change ? wow... Tapi pernah training orang Mandiri, katanya di DB2 yang jalan di mainframe