Yap, Kalau 1 jam harusnya kelamaan ya... I/O dari OS sendiri bagaimana ? Bagus ga ?
Maksudnya record yang difetch itu dibuffer sampai 100 baru dicommit, bisa aja bottlenecknya bukan di select tapi di insert. Cara cari tahunya ? Coba dijalanin di Spoon, dan lihat di stepnya mana yang "kejar-kejaran" apakah jumlah record yang dibaca dari step asal lebih cepat jalannya atau record yang harus diwrite itu menunggu : Contoh eksekusi dalam 1 menit : 1. Step baca db sudah membaca 100,000 record tapi di write step outputnya baru 80,000 berarti bottlenecknya di step output. 2. Step baca db sudah membaca 100,000 record dan di write step outputnya juga 100,000 berarti bottlenecknya di step input. Cara atasinya ? Salah satunya adalah coba klik kanan step yang bermasalah (bottleneck), terus pilih *Change Number of Copy to Start* dan masukkan jumlah thread yang diinginkan. Step tersebut akan ditambah "tenaga kerja"-nya untuk mengejar step lainnya. Oya.. lazy conversion artinya kita menghilangkan "kecerdasan" Kettle untuk menduga-duga data dengan cara mengkonversinya ke meta data yang tepat (seperti misalnya format tanggal "1 Jan 2008" dan "01/01/08"). Dengan menghilangkan proses tambahan di I/O ini kita mengatasi latency dari computing yang mungkin terjadi. Demikian... semoga membantu ;) Regards, Feris 2008/8/29 Joshua Partogi <[EMAIL PROTECTED]> > Wah cepet banget. Ini satu juta record ke AS400 belum selesai udah 1 > jam. Apa harus disetting di DB-nya juga yah? > > Btw, pak. Commit size itu berarti kan berapa record yang di commit > tiap fetch kan yah? Kalau commit size-nya besar bukannya malah tambah > lambat? Karena Kettle harus nunggu Select 100 data dulu baru > di-commit. CMIIW. > > Terus Lazy conversion itu untuk apa yah? > > >
