kalo udah main proses data segitu gedenya,
mesti berani bikin yang kompleks-kompleks dan berat-berat.
tapi hasilnya jadi bagus.
memang untuk masalah bulk processing, sangat-sangatlah kompleks urusannya.
gak bisa sembarangan pake cara ini dan itu.
dan pastinya gak bisa lagi pake cara-cara
Iya, untung sdh ada anggota tim yg khusus menangani masalah ini.
Thanks utk semua tanggapannya, kalau sdh ada solusi utk masalah ini
akan saya share.
regards,
T Budi S
2008/6/6 sm96 [EMAIL PROTECTED]:
kalo udah main proses data segitu gedenya,
mesti berani bikin yang kompleks-kompleks dan
Hi Feris,
Thanks utk info-nya :) Saya belum sempat explore skr.
Tapi ini ide yg bagus utk pengembangan ke depan.
Ditunggu artikel ETLnya ;)
regards,
T Budi S
2008/6/5 Feris Thia [EMAIL PROTECTED]:
Hi T Budi S,
Wow keren, bikin search engine. Ntar boleh info artikelnya :)
Kalau dulu saya
2008/6/5 Adelwin Handoyo [EMAIL PROTECTED]:
Khan tadi katanya langkah berikutnya yaitu optimasi pembacaan dari database
khan?
Jadi bongkar JDBC dong? :p
Maksudnya scr high level :D
Bayangan gue bikin nya gini...
For each row {
String param = rs.getString(1);
New SubProcess(param);
}
biasanya 70 itu yg hancur performance akses databasenya.
apa gak ada cara lain, supaya gak perlu 7 jt kali setiap kali proses
apa gimana gitu
apa kita juga gak boleh tahu nih, sebenarnya
mau bikin apaan sih?
prosesnya ngapain aja sih?
2008/6/4 Jecki Sumargo [EMAIL PROTECTED]:
2008/6/4 T Budi
2008/6/4 T Budi S [EMAIL PROTECTED]:
Dear juggers,
Mumpung lg hot2nya bahas thread puts vs System.out.println,
gw ada 1 challenge utk optimize string to double conversion method
dari class java.lang.Double:
public static Double valueOf(double d)
Kenapa gw butuh utk optimize ini?
Karena baca dari database saya saranin pake ETL tool saja. Coba Kettle,
design pake graphicalnya.. split sourcenya dan dapatkan performance dari
multi threading. Atau malah.. buat cluster server untuk proses datanya :)
See this : http://www.ibridge.be/?s=slave
Good luck !
Kalo mo tips dan trik
Untuk yang lain yang ingin melakukan micro-benchmark, kalau bisa
test-casesnya di-random.
Jangan hanya menggunakan single value seperti: -12.3456
Hasilnya akan sangat bias dan tidak akurat.
Untuk T.Budi, saya bikinin testcases random nya.
Kamu bisa benchmark menggunakan itu, hasilnya harusnya
FYI, untuk nge run code barusan, harus set -Xmx256m otw bakal kena heap
space exception.
Trus, tentang kenapa Double.valueOf bisa lebih lambat itu mungkin karena
Double.valueOf lebih flexible:
Double.valueOf bisa terima input dalam berbagai macam format:
heheheh SOL...
lucu...
tanya sendiri jawab sendiri...
keren :p
2008/6/4 Felix Halim [EMAIL PROTECTED]:
FYI, untuk nge run code barusan, harus set -Xmx256m otw bakal kena heap
space exception.
Trus, tentang kenapa Double.valueOf bisa lebih lambat itu mungkin karena
Double.valueOf lebih
Hi Adelwin,
2008/6/4 Adelwin Handoyo [EMAIL PROTECTED]:
Kalo mo optimize car abaca dari DB sih wah ok juga.. tapi berarti bongkar
JDBC gitu?
Waduh .. kalo berhasil kabar2i yah...
Hehehhehe
Did I say JDBC ? hehehe
On the top of my head sih idea nya pembagian tugas menjadi subprocess kecil2
Performance database seharusnya sdh cukup bagus.
Tapi masalah konversi ini muncul sbg hasil dr profiling yg dilakukan,
di mana konversi dilakukan kira2 7 jt kali setiap kali proses djalankan.
Ck..ck..ck.. setiap kali proses 7 jt kali? Abis itu cuma dipakai
sebentar? Bisa di-cache for
2008/6/4 sm96 [EMAIL PROTECTED]:
biasanya 70 itu yg hancur performance akses databasenya.
apa gak ada cara lain, supaya gak perlu 7 jt kali setiap kali proses
apa gimana gitu
apa kita juga gak boleh tahu nih, sebenarnya
mau bikin apaan sih?
prosesnya ngapain aja sih?
Lagi bikin search
Wow, thanks a lot Felix.
Memang test yg dilakukan quick dirty.
Cuma run aja berulang2, ambil hasil yg paling konsisten, hahaha.
Double.valueOf memang lbh flexible krn dia melakukan byk pengecekan -
krn itu jadi lambat.
Saya lupa menyebutkan di awal, bhw ada asumsi yg dipakai utk input:
- pasti
Hi T Budi S,
Wow keren, bikin search engine. Ntar boleh info artikelnya :)
Kalau dulu saya buat DMS kecil indexingnya pake Lucene, nah karena masih
berkaitan dengan Lucene.. akhirnya gue sampe ke Hadoop - sister projectnya !
Mana tau resource ini bisa menambah ide atau fitur di project :
1.
Hi Felix dan semuanya,
Thread ini makin menarik, berhubung saya selalu nyentuh source code Kettle
hal ini bisa menjadi optimasi di ETL ini.
Untuk yang tertarik melihat source codenya ambil dari SVN atau sourceforge
untuk project Pentaho, dan lihat di penangan nilai dari step-step di Kettle
ada
at the same time... maybe a few
hundred shoud be good lah..
-Original Message-
From: jug-indonesia@yahoogroups.com [mailto:[EMAIL PROTECTED]
On Behalf Of T Budi S
Sent: Thursday, June 05, 2008 7:11 AM
To: jug-indonesia@yahoogroups.com
Subject: Re: [JUG-Indonesia] [Challenge] String
akses langsung ke resultset ini kalo langsung, emang lebih lambat.
coba pake batch biar lebih cepet. kalo nyimpen lagi ke database pake
batch update.
biarpun akses ke resultset langsung, mesti dibuffer dulu baru diproses
sepenggal-sepenggal, biasanya akan lebih optimal.
apalagi kalo ditambah
Dear juggers,
Mumpung lg hot2nya bahas thread puts vs System.out.println,
gw ada 1 challenge utk optimize string to double conversion method
dari class java.lang.Double:
public static Double valueOf(double d)
Kenapa gw butuh utk optimize ini? Krn di project yg sedang gw kerjakan
skr,
minta ke boss lo dikompakar agar kasih hadiah aja yang jawab paling bagus
5 juta gitu
F
2008/6/4 T Budi S [EMAIL PROTECTED]:
Dear juggers,
Mumpung lg hot2nya bahas thread puts vs System.out.println,
gw ada 1 challenge utk optimize string to double conversion method
dari class
Hi budi, dari hasil code yang gw lihat, mungkin ada sedikit yang bisa
dioptimize.
public class ConversionHelper {
public static double stringToDouble(String s) {
char[] cc = s.toCharArray();
int length = cc.length;
if (length == 0) {
return 0;
}
kalo emang waktu konversinya sejelek itu, mesti dilakukan secara paralel.
bisa pake thread juga. dan kadangkala untuk memproses data semacam ini,
tidak selalu harus menggunakan solusi iterative konvensional.
coba difikirkan cara-cara alternatif yang lain yg tidak lagi menggunakan
cara-cara
Wow, it works !
Gw ga ngeh kalo implementasi method toCharArray seperti itu,
ternyata method charAt langsung akses ke array of char yg jd storage.
Thanks, Kong Putra !
regards,
T Budi S
2008/6/4 Kong Putra [EMAIL PROTECTED]:
Hi budi, dari hasil code yang gw lihat, mungkin ada sedikit yang
Hi Syaiful,
2008/6/4 sm96 [EMAIL PROTECTED]:
kalo emang waktu konversinya sejelek itu, mesti dilakukan secara paralel.
bisa pake thread juga. dan kadangkala untuk memproses data semacam ini,
tidak selalu harus menggunakan solusi iterative konvensional.
coba difikirkan cara-cara alternatif
24 matches
Mail list logo
