Hi Lewis,
I've try to crawl from forum thread. But there are so many words that
missing. especially from the quote or comment.
for example :
PFA the sample result from :
https://m.kaskus.co.id/post/5bf06fb6c0d770e37e8b4567/?order=asc
From that *forum_solr_index.txt *file, on *content* field. There are so
many words missing.
For example :
there are comment post like pict below:
The result that i've got only : *perusahaan jadi curiga gan ..*
Is there any advice for this case?
Pls Help
Best Regards,
Tukang Cangkul
On 04/12/18 10:00, lewis john mcgibbney wrote:
Hi Tukang,
In short yes. It would help if you could provide an example of what you've
tried and what you encountered/what your results were.
Lewis
On Mon, Dec 3, 2018 at 6:42 PM <user-digest-h...@nutch.apache.org> wrote:
From: tkg_cangkul <yuza.ras...@gmail.com>
To: user@nutch.apache.org
Cc:
Bcc:
Date: Tue, 04 Dec 2018 09:40:47 +0700
Subject: [ask] Crawl Forum Site
Hi,
Is there possible to crawling Web Forum with Apache Nutch?
If possible, is there any configuration that i must add?
I've try it but i've nothing.
Pls help . Need advice.
Thanks
Best Regards,
Tukang Cangkul
{
"date":"2018-11-18T00:00:00Z",
"enforce_crawling__s":["0"],
"title":"SIa-siakah Izasah Saya? | KASKUS",
"url":"https://m.kaskus.co.id/post/5bf06fb6c0d770e37e8b4567/?order=asc";,
"content":"18-11-2018 01:29\nSIa-siakah Izasah Saya?\nHalo selamat pagi
agan dan sista dimanapun kalian berada, ane disini mutlak ingin bercerita
tentang apa yang ane rasakan selama 2 tahun terakhir ini, tidak maksud merengek
atau jadi pecundang yang menyerah terhadap keadaan, ini hanya suatu bentuk
curahan dan juga berbagi pengalaman saja....\nAnd the story begin..\nRasa
kesal, bersalah, marah, kecewa bahkan frustasi yang menjadi bibit-bibit
keputusasaan bergejolak seiring berjalannya waktu yang tak terasa bergulir
dengan kecepatan penuh. Hal ini mulai ane rasakan ketika ane lulus di sebuah
Universitas di Bandung yang terkenal super mahal- dan susah nilai bisa tebak?
dengan slogan A untuk Tuhan B untuk saya (ujar dosen) C untuk orang beruntung D
dan E untuk kalian. hahaha sadar tak sadar memang ucapan yang sudah menjadi
urban legend di kampus ane itu benar adanya. begitu mati-matiannya ane
memperjuangkan sks demi sks untuk mendapatkan nilai yang baik, minimal B karena
ambisi yang entah datang dari mana.\nDengan mengikuti kegiatan kampus yang
memiliki profit di dalamnya ane tetep fokus di dunia perkuliahan untuk mencari
nilai demi nilai agar kelak ketika lulus ane memiliki akses yang mungkin akan
memudahkan ane untuk melanjutkan study atau mencari pekerjaan pikir ane waktu
itu. Dan waktupun tak terasa berjalan begitu cepat hingga sampailah ane pada
tahun 2016 Mei tepatnya untuk melaksanakan sidang akhir sebagai salah satu
syarat kelulusan di kampus ane tercinta.\nDengan segala perjuangan yang ane
lakuin ane pun sampai pada titik terakhir tersebut. Singkat cerita selesailah
sudah segala syarat kelulusan untuk ane dapet izasah dan di wisuda dari kampus
ane. Dengan IPK yang memuaskan bagi ane mengingat susahnya mencari nilai di
kampus tersebut, dan yang menjadi kebanggaan lainnya adalah ketepatan waktu ya
ane lulus tepat 4 tahun dengan dimulai pada tahun 2012 dan keluar pada tahun
2016.\nAne pun memiliki perasaan gembira pada saat itu dan sama sekali tidak
memiliki beban apapun karena merasa tugas ane sebagai pelajar atau mahasiswa
telah berakhir. Dengan berbekal selembar kertas yang begitu bernilai untuk
menyongsong masa depan, rasa syukur dan terimakasih kepada tuhan serta kedua
orang tua yang telah berjibaku dalam hal ekonomi untuk membiayayi ane selama di
kampus terbayar sudah. Rencana pun berlanjut untuk melanjutkan ke jenjang
berikutnya, karena pada saat ane lulus di umur 21 tahun ane merasa belum
terpikirkan untuk bekerja secara full time, ane masih ingin menghabiskan waktu
ane untuk bermain lah kasarnya naun tetap ada kegiatan harian yakni kuliah
lagi.\nAne pun gencar mencari kampus yang membuka lowongan penerimaan masuk di
periode tersebut, setelah ane berusaha mengumpulkan bahan-bahan untuk masuk ke
kampus tersebut ane terpaksa mengurungkan niat tersebut karena adanya
percakapan dari orang tua ane yang tidak memiliki cukup biaya untuk melanjutkan
jenjang study ane. Dengan alasan sang adik berbarengan untuk masuk ke jenjang
S1. Apa mau dikata? yasudah ane menanggapi hal tersebut dengan bijak dan
santai. yasudah bu pak kan masih ada tahun-tahun berikutnya, toh memang bukan
rezeki, jawab ane.\nKemudian tak terasa 6 bulan sudah semenjak ane wisuda ane
lebih banyak menghabiskan waktu dengan hal-hal tidak jelas, alias nongkrong dan
nongkrong serta bermain kegemaran ane yakni bermain BAND wkwkw cita-cita sih
pengen jadi rokesetarrrr hahaha. Dan untuk keseharian ane mulai berbisnis
apapun dari mulai jualan barang bekas sampai jualan baju di lapakan-lapakan
atau pasar grebeg menjelang Ramadhan biasanya.\nWaktu pun terus berlanjut dan
tak terasa 1 tahun sudah ane menghabiskan waktu dengan status tidak jelas, ya
bisa dikatakan pengangguran karena ane berbisnis serabutan, apapun ane garap
asal dapet fulus, ga terpatok atau terfokus pada suatu bisnis apapun. Singkat
cerita ane pun mulai geram dengan keseharian ane, akhirnya ane membuatlah CV
dan juga banyak surat lamaran, dan ane pun mulai melakukan serangan lamaran
pekerjaan ke berbagai perusahaan dengan tetap idealis mengedepankan apa yang
ane punya dari disiplin ilmu ane yang ane pelajari selama 4 tahun
lamanya.\nNamun ternyata keadaan sangat berbanding terbalik dengan apa yang ada
di otak ane agan-agan, interview demi interview gagal meloloskan ane untuk
mendapatkan pekerjaan, Ane pun berpikir, lah susah ternyata mencari kerja?
Sia-siakah izasahku? tak bergunakah izasahku? NP - Iwan fals Sarjana
Muda.\nSampai akhirnya ane menyerah untuk mencari pekerjaan yang sesuai dengan
apa yang ane mau dan juga sesuai dengan disiplin ilmu yang ane punya, akhirnya
ane pun mulai melamar ke berbagai perusahaan dengan posisi random, dan duar tak
lama kemudian ane bekerja di suatu perusahaan retail yang mana ane tidak
sekalipun membutuhkan disiplin ilmu yang ane punya.\nDengan perasaan yang tidak
belong terhadap pekerjaan tersebut bulan demi bulan pun tak terasa ane habiskan
di dalam perusahaan tersebut, karena ane memang cinta terhadap disiplin ilmu
yang ane emban selama 4 tahun dan juga ane memang bisa dikatakan aktif dalam
membantu rakyat yang membutuhkan jasa ane, ane pun diajak oleh salah satu
pentolan HAM yang memiliki fokus pada hak anak untuk bergabung dengan komnas
nya, ya komnas yang berfokus terhadap perlindungan anak.\nDengan begitu ane pun
menjalani double job yang mana di dalam perusahaan ane memang mencari nafkah
dan fulus, sementara untuk komnas ane lebih bertindak sebagai relawan yang
memiliki tugas untuk meng-advokasi siapa-siapa yang terlibat di dalam suatu
kasus yang berkaitan dengan anak.\nOke gan jari mulai pegel, haha disingkat
lagi ceritanya ane pun mulai merasa tidak nyaman di perusahaan yang menerima
ane bekerja, dan setelah sekitar 8 bulan ane memutuskan untuk resign dari
pekerjaan tersebut, dengan pikiran bahwa ane telah siap untuk mencari pekerjaan
lain yang sesuai dengan apa yang ane inginkan.\nTernyata eh ternyata..... semua
tak sesuai rencana, perusahaan yang diidamkan dengan jenis pekerjaan yang
diharapkan pun tak kunjung datang, sama ceritanya dengan yang ane rasakan dulu,
berbagai interview tidak meloloskan ane untuk menjadi pegawai di perusahaan
tersebut. Ane pun mulai meratapi nasib dengan rasa yang begitu tercampur aduk,
kesal, marah, kecewa, sampai putus asa. Dengan terus mencari apa penyebab dari
ane kesulitan mendapatkan pekerjaan yang sesuai dengan apa yang ane suka.
Apakah saya bodoh? tidak juga.. jika nilai menjadi tolak ukurnya, banyak
kawan-kawan saya yang lebih beruntung. Lantas apa jawabannya? Walahualam.
sampai sekarang ane masih bingung dan sedikit putus asa untuk melanjutkan
pencarian ane terhadap pekerjaan tersebut.\nAkhir-akhir ini ane lebih suka
mengurung diri di kamar sambil tak henti-hentinya mulut ane menganga dengan
mempertanyakan banyak hal yang ada di dalam pikiran ane. dengan terbesit
pikira-pikiran yang sebelumnya telah dijelaskan mengenai, tidak bergunanya
ijasah ane? sia-sianya izasah ane. mengingat biaya yang begitu besar telah
dikeluarkan oleh keluarga untuk dapat menghasilkan selembar kertas yang
ternyata tak berguna tersebut hahaha maaf agak kesal.\nIni murni curhatan hati
yang coba ane tuliskan, panjang cerita sebenarnya bagi agan yang merasa senasib
bisa di share atau mungkin pm untuk sharing cerita, atau bagi yang ingin
memperkerjakan ane juga boleh xixixi\nThanks for reading and have a good
days!\nUrutan\nBatalkan\nperusahaan jadi curiga gan ..\nlu ga punya visi ke
depan ..\ntipikal pegawai yg harus dimotivasi ..\nmereka dah nemu bnyk yg gitu
gan .. apalagi skrg kondisi ekonomi makin keras .. dan menerima pegawai model
gitu hanya nambah beban ..\ncepat lulus tapi ga lngsung kerja ..\nckckck
..\n\"ga kerja\" bisa diganti \"volunteer\" atau \"sabbatical break\"\nOrang2
bule banyak kok yg ga langsung kerja setelah lulus.\nBiasanya mereka isi dengan
volunteer atau jalan2 ke Asia/Afrika/Amerika Latin.\nEnte ceritalah apa yg ente
lakuin selama \"mencari identitas diri\" tersebut.\nBisa ikutan pesantren kilat
(retret atau sejenisnya), belajar sesuatu (gitar, komputer, ngeband) secara
otodidak, bantu ortu di toko, sukarelawan di panti asuhan, perpustakaan atau
sejenisnya.\nAlhamdulillah....ijasah aye entah kemana perginya\nPekerjaan yg
aye tekuni sekarang malah bertolak belakang sama disiplin ilmu waktu kuliah.
Sia2kah ijasah aye? Jawabannya HO'OH\n(enjoy aja)\nIjasah itu hanya tanda
legalitas bahwa agan telah dianggap selesai menempuh pendidikan sampai jenjang
dengan disiplin ilmu tertentu.\nTapi ijasah \"Pendidikan Alam Raya\" itu
tandanya pengakuan dri orang lain akan kemampuan kita menekuni suatu
\"matakuliah kehidupan\", yang berpengaruh besar dlm predikat kita di
masyarakat, (dan bagi aye ini lebih berharga dan jauh lebih bernilai)\nTitelnya
yg didapat dri \"Pendidikan Alam Raya\" itu berupa \"orang yg jujur\", \"orang
yg sabar\", \"si kreatif\", \"rendah hati\", \"tukang adu domba\", \"biang
ribut\", \"tukang cela\" dll....\nWalau agan secara legalitas keilmuan
berpendidikan sampai S2 atau S3 tapi kalau orangnya bertitel
\"pendengki\"....tetap saja dianggap \"orang rusak\" oleh masyarakat seperti
halnya si Babi Jijik yg lari ke arab sana....\nApapun pekerjaan/aktifitas agan
dalam hidup ini, kalau tidak mempunyai titel dri \"pendidikan alam raya\" yang
baik dan bernilai positif juga akan percuma menjalani profesi
pekerjaan.\nNasehat aye \"Gak usah gengsi melakukan pekerjaan rendahan, asalkan
halal dan tidak merugikan orang lain\".\nwoow ngena gan bagus euy pendidikan
alam raya. nice buat ane renungkan lagi. thanks gan sarannya tp fyi aja ane ga
milih2 karena gengsi gan cuma karena lebih pgn ilmu yang ane emban dan sukai
kepake gitoooh hahaha. Btw suka bgt ane ama komen ente tntg \"Pendidikan Alam
Raya\"\nsiap gan nanti ane belajar lagi merangkai kata.. betul-betul gan
orientasi ane terlalu saklek ke kata \"kerja\" thanks masukannya gan\ntidak
fokus mau apa.\nnanti saya lanjut kalau kau sudah kasih tau fokusnya mau apa
(mulailah dari kesenangan hidup apa yang jadi strong point kau, yang orang lain
kurang bisa sementara kau bisa lakukan dengan santai).\nhmm gt ya gan.. okeylah
ane tar cari fokus ane lebih kemana dan strong point seperti yang agan bilang.
thanks ya gan xixi\nManusia punya rencana dan keinginan, tapi Tuhan jua yg
menentukan hasilnya. Gak beda jauh kayak aye dulu masih sekolah/kuliah...punya
keinginan dan mimpi (dlm level primitif) hidup berkecukupan dan bahagia
menjalani kehidupan. Tapi Tuhan punya skenario lain. Jatuh bangun sampai
nyungsep kecebur got udah aye rasain. Harta yg banyak segunung (dri hasil
usaha/kerja) gak akan ada artinya kalau agan \"susah hati\". Ujung2nya tuh
harta segunung juga banyak utk \"nginep di rumah sakit\" gan. Yg udah aye alami
sih apa yg menurut kita menyenangkan, belum tentu merupakan pilihan bijaksana.
Cuma waktu dan usaha kita yg menjadi proses utk mendapatkan jawaban dari apa
jadinya diri kita nanti. Jalani aja hidup ini kalau mentok ketemu tembok, cari
jalan keluar walau jalan satu2nya harus muter jauh.\nentahlah bre menurut ane
nasib orang itu beda\" bukan berarti nasib buruk tidak bisa diubah yg penting
mau usaha dlu bre dan satu lagi kalau yg u jalanin skrang blom sesuai keinginan
u yah jalanin aja dlu dan bukankah semua goal itu btuh proses\nbetul banget gan
setuju banget ane sama kata ente tentang tuhan yang punya skenario lain. nice
gan. makasih buat pengalamannya gan jadi masukan berarti buat ane. btw que sera
sera gan whatever will be hahaha.\nKebetulan ane lg belajar menjauhkan diri
dari penyakit hati yang ujung2nya susah hati gan semoga diberi kekuatan sama
tuhan amin\nbetul bre ane coba jalani ini dengan ikhlas bre tetap usaha dan
coba mengembalikan semangat 45 yang dlu ane punya bre xixi\niya bre semangat
kalau bisa cari pengalaman sebanyak mungkin jangan berpatok dengan ijasah u
karena itu cuma modal u aja tapi kalau u ga punya pengalaman yah sia\" juga
ijasah u\nwkwk serba salah ah gan kalau ane. mau betah mahal biaya lulus malah
susah kerja jd gatau dah hahaha\nDapet ijasah artinya ente gak sia2 sekolah
lulus.. yg sia2 udah sekolah lama gak dapet ijasah.. jgn disamain ijasah dengan
kwberuntungan ente dapet kerja atau gak...\nJaman skrg jgn andelin ilmu
sekolahan doang...\nwow cerah cerah gan hahaha ya mungkin pemikiran ane terlalu
mengkerdilkan konsep sia-sia gan dan menyangkut pautkan apa yang ane emban
dengan keberuntungan ane cuma coba cari penyebabnya begitohh xixi\n© 2018
KASKUS, PT Darta Media Indonesia.\nAll rights reserved.\n",
"date_parse_status__s":["1"],
"tstamp":"1970-01-01T00:00:00Z",
"hourid":"00",
"domain":"kaskus.co.id",
"digest":"edc341fd12ddea2570a1f35655df5493",
"dateid":"2018-11-18",
"image_s":["https://s.kaskus.id/b/r540x540/images/2018/11/18/10258705_20181118035654.jpg";],
"boost":0.0,
"id":"id.co.kaskus.m:https/post/5bf06fb6c0d770e37e8b4567/?order=asc",
"processDate":"2018-12-05T14:25:04.777Z",
"_version_":1618995791608676356,
"host":"m.kaskus.co.id"
}
![https://s.kaskus.id/b/r540x540/images/2018/11/18/10258705_20181118035654.jpg"](https://s.kaskus.id/b/r540x540/images/2018/11/18/10258705_20181118035654.jpg"){kind=link}