[Nutch-dev] Encoding problems

[Andrzej Bialecki]

Hi developers,

There is something fishy going on with the pages' encoding. I created an 
index of non-english pages (which use mainly Latin1 and Latin2), and the 
national characters are completely broken - both on the search results 
page, as well as cached view. Looks like somewhere Nutch assumes utf8 
where it's not, or the other way around, or maybe the code in 
Entities.java is somewhat broken...

I attached a sample output, and the original page as it should be. I'm 
using Windows, Tomcat 4.1, Sun JDK 1.4.2_03, and cygwin for shell 
support. Any suggestions?

Oh, BTW: sometimes displaying the cached content takes ages. When I 
select "View source" in the browser, the full source is there, but the 
browser wants to get other external resources, like javascript files, 
other frames, etc. I have the impresssion that cached results of the 
same pages from Google are displayed quicker... Perhaps they cut off 
some links on the copy to other originally linked content?

Another observation about ranking: many times when the matching word is 
the main part of URL (in my case "ikea" -> www.ikea.com) it would make 
sense to boost up the results that are not deeply nested. E.g. I got the 
results from obscure corners on the website first, and then as the 20th 
or 40th I got the main page. Well, I understand that probably that 
obscure page had a high frequency of this term, but as a user I'd expect 
the main entry to the website to show up first. Any comments?

--
Best regards,
Andrzej Bialecki
-------------------------------------------------
Software Architect, System Integration Specialist
CEN/ISSS EC Workshop, ECIMF project chair
EU FP6 E-Commerce Expert/Evaluator
-------------------------------------------------
FreeBSD developer (http://www.freebsd.org)
Title: IKEA | Fakta a ??daje  - IKEA ve svÄ?tÄ? 


nutch cache

page: http://www.ikea.cz/ms/cs_CZ/about_ikea/facts_figures/ikea_in_the_world.html




 ® novinky vyberte si ... IKEA bl?­zko v??s | slu??by z??kazn?­k??m | o IKEAmapa str??nek | v??robky A-Z | vyhled??v??n?­ hlavn?­ strana  O IKEA  Fakta a ??daje  - IKEA ve svÄ?tÄ? Fakta a ??daje??dajeIKEA ve svÄ?tÄ?obchodn?­ domy IKEA organizace IKEAIKEA  Groupobjednejte si bro??uru IKEA ve svÄ?tÄ?SortimentOdpovÄ?dnost za v??voj sortimentu IKEA le???­ na pracovn?­c?­ch IKEA of Sweden v ??lmhultu. Cel?? sortiment IKEA - identick?? ve v??ech obchodn?­ch domech po cel?©m svÄ?tÄ? - obsahuje  okolo 10 000 produkt??. Z??kladn?­ my??lenkou, skrytou za ve??kerou prac?­ t??kaj?­c?­ se sortimentu, je, ??e je to pr??vÄ? n?­zk?? cena, kter?? dÄ?l?? dob??e navr??en?© a funkÄ?n?­ bytov?© za???­zen?­ dostupn??m pro v??echny. Takov?? design IKEA naz??v?? "demokratick??m designem".Nov?© produkty od intern?­ch i extern?­ch n??vrh?????? se analyzuj?­ ji?? ve f??zi, kdy existuj?­ pouze na r??sovac?­m  prknÄ?. Jen tak je mo??n?© zajistit, ??e spln?­ p???­sn?© po??adavky na pou???­v??n?­ zdroj??, v??robn?­ potenci??l, skladov??n?­, dopravu, kvalitu a dopad na ??ivotn?­ prost??ed?­. A je to rovnÄ??? IKEA of Sweden, kter?? d??v?? produkt??m jejich jedineÄ?n?© n??zvy, jako na p???­klad GUSTAVA nebo STOLLE.Pr??myslKromÄ? toho, ??e spolupracuje p??ibli??nÄ? s 1 600 r??zn??mi dodavateli ze v??ech kout?? svÄ?ta, vyr??b?­ IKEA ??adu sv??ch produkt?? na pil??ch a v tov??rn??ch, tvo???­c?­ch pr??myslovou skupinu Swedwood.Jednou z povinnost?­ Swedwoodu vedle vlastn?­ v??roby je i p??ed??vat znalosti dal???­m dodavatel??m, jako nap??. znalosti t??kaj?­c?­ se efektivity, kvality Ä?i ekologie.V souÄ?asn?© dobÄ? m?? Swedwood 32 pr??myslov??ch jednotek v 9 zem?­ch.N??kupIKEA m?? 43 n??kupn?­ch organizac?­ v 33 zem?­ch svÄ?ta. Kl?­Ä?em k dlouhodob?© a racion??ln?­ spolupr??ci s dodavateli (1 600 v 55 zem?­ch) je b??t jim co nejbl?­??e. Proto tak?© pracovn?­ci n??kupu dodavatele pravidelnÄ? nav??tÄ?vuj?­, aby sledovali v??robu, testovali nov?© n??pady a n??vrhy, sjedn??vali ceny a prov??dÄ?li kontroly kvality. Pracovn?­ci n??kupu jsou rovnÄ??? odpovÄ?dn?­ za dal???­ d??le??it?© ??koly, jako je v??voj a kontrola pracovn?­ch a soci??ln?­ch podm?­nek dodavatel?? a Ä?innost v oblasti ochrany ??ivotn?­ho prost??ed?­.DistribuceCesta produktu od dodavatele ke spot??ebiteli mus?­ b??t maxim??lnÄ? p???­m??, n??kladovÄ? efektivn?­ a s minim??ln?­m negativn?­m dopadem na ??ivotn?­ prost??ed?­. Velmi d??le??it??m aspektem t?©to pr??ce jsou na??e ploch?? balen?­: umo????uj?­ n??m maxim??ln?­ vyu??it?­  m?­sta a t?­m efektivnÄ?j???­ dopravu a skladov??n?­.  A proto??e efektivn?­ distribuce hraje kl?­Ä?ovou roli v tvorbÄ? n?­zk??ch cen, sna???­me se chovat co nejefektivnÄ?j?­ i v logistice a p??i vyhled??v??n?­ nejvhodnÄ?j???­ch dopravn?­ch tras.Za dod??vky zbo???­ do obchodn?­ch dom?? IKEA odpov?­d?? 27 distribuÄ?n?­ch center v 16 zem?­ch.Obchodn?­ domyIKEA GROUP vlastn?­  celkem 165 obchodn?­ch dom?? v 22 zem?­ch svÄ?ta (k 31. srpnu 2003).Minul?? rok nav??t?­vilo obchodn?­ domy IKEA Group celkem 286 mili??n?? lid?­ a bylo vyti??tÄ?no 131 mili??n?? kopi?­ katalogu ve 45 edic?­ch a 23 jazykov??ch mutac?­ch. IKEA Group je nejvÄ?t???­ u??ivatel licence Inter IKEA Systems B. V., kter?? je vlastn?­kem koncepce IKEA. Dal???­ franÄ??­zy najdete v n??sleduj?­c?­ch 14 zem?­ch a oblastech: Austr??lie (1), Spojen?© Arabsk?© Emir??ty (2), ??ecko (1+*1), Hong Kong (4), Island (1), Izrael (1), Kuvajt (1), Malajsie (1), Nizozem?­ (1), Saudsk?? Ar??bie (2), Singapur (1), ? panÄ?lsko (3), Tchaj-wan (1) a USA (1).Celkov?? souÄ?et pak ukazuje, ??e IKEA p??sob?­ celkem v 31 zem?­ch/oblastech svÄ?ta a provozuje 186 obchodn?­ch dom??. © Inter IKEA Systems B.V. 1999 - 2003

  | 
 ochrana osobn?­ch ??daj??
 IKEA ve svÄ?tÄ?



Title: IKEA | Fakta a Ãdaje  - IKEA ve svÄtÄ 

 ® novinky vyberte si ... IKEA blÃzko vÃs | sluÅby zÃkaznÃkÅm | o IKEAmapa strÃnek | vÃrobky A-Z | vyhledÃvÃnàhlavnà strana  O IKEA  Fakta a Ãdaje  - IKEA ve svÄtÄ Fakta a ÃdajeÃdajeIKEA ve svÄtÄobchodnà domy IKEA organizace IKEAIKEA  Groupobjednejte si broÅuru IKEA ve svÄtÄSortimentOdpovÄdnost za vÃvoj sortimentu IKEA leÅà na pracovnÃcÃch IKEA of Sweden v Ãlmhultu. Celà sortiment IKEA - identickà ve vÅech obchodnÃch domech po celÃm svÄtÄ - obsahuje  okolo 10 000 produktÅ. ZÃkladnà myÅlenkou, skrytou za veÅkerou pracà tÃkajÃcà se sortimentu, je, Åe je to prÃvÄ nÃzkà cena, kterà dÄlà dobÅe navrÅenà a funkÄnà bytovà zaÅÃzenà dostupnÃm pro vÅechny. Takovà design IKEA nazÃvà "demokratickÃm designem".Novà produkty od internÃch i externÃch nÃvrhÃÅÅ se analyzujà jiÅ ve fÃzi, kdy existujà pouze na rÃsovacÃm  prknÄ. Jen tak je moÅnà zajistit, Åe splnà pÅÃsnà poÅadavky na pouÅÃvÃnà zdrojÅ, vÃrobnà potenciÃl, skladovÃnÃ, dopravu, kvalitu a dopad na Åivotnà prostÅedÃ. A je to rovnÄÅ IKEA of Sweden, kterà dÃvà produktÅm jejich jedineÄnà nÃzvy, jako na pÅÃklad GUSTAVA nebo STOLLE.PrÅmyslKromÄ toho, Åe spolupracuje pÅibliÅnÄ s 1 600 rÅznÃmi dodavateli ze vÅech koutÅ svÄta, vyrÃbà IKEA Åadu svÃch produktÅ na pilÃch a v tovÃrnÃch, tvoÅÃcÃch prÅmyslovou skupinu Swedwood.Jednou z povinnostà Swedwoodu vedle vlastnà vÃroby je i pÅedÃvat znalosti dalÅÃm dodavatelÅm, jako napÅ. znalosti tÃkajÃcà se efektivity, kvality Äi ekologie.V souÄasnà dobÄ mà Swedwood 32 prÅmyslovÃch jednotek v 9 zemÃch.NÃkupIKEA mà 43 nÃkupnÃch organizacà v 33 zemÃch svÄta. KlÃÄem k dlouhodobà a racionÃlnà spoluprÃci s dodavateli (1 600 v 55 zemÃch) je bÃt jim co nejblÃÅe. Proto takà pracovnÃci nÃkupu dodavatele pravidelnÄ navÅtÄvujÃ, aby sledovali vÃrobu, testovali novà nÃpady a nÃvrhy, sjednÃvali ceny a provÃdÄli kontroly kvality. PracovnÃci nÃkupu jsou rovnÄÅ odpovÄdnà za dalÅà dÅleÅità Ãkoly, jako je vÃvoj a kontrola pracovnÃch a sociÃlnÃch podmÃnek dodavatelÅ a Äinnost v oblasti ochrany ÅivotnÃho prostÅedÃ.DistribuceCesta produktu od dodavatele ke spotÅebiteli musà bÃt maximÃlnÄ pÅÃmÃ, nÃkladovÄ efektivnà a s minimÃlnÃm negativnÃm dopadem na Åivotnà prostÅedÃ. Velmi dÅleÅitÃm aspektem tÃto prÃce jsou naÅe plochà balenÃ: umoÅÅujà nÃm maximÃlnà vyuÅità  mÃsta a tÃm efektivnÄjÅà dopravu a skladovÃnÃ.  A protoÅe efektivnà distribuce hraje klÃÄovou roli v tvorbÄ nÃzkÃch cen, snaÅÃme se chovat co nejefektivnÄjà i v logistice a pÅi vyhledÃvÃnà nejvhodnÄjÅÃch dopravnÃch tras.Za dodÃvky zboÅà do obchodnÃch domÅ IKEA odpovÃdà 27 distribuÄnÃch center v 16 zemÃch.Obchodnà domyIKEA GROUP vlastnà  celkem 165 obchodnÃch domÅ v 22 zemÃch svÄta (k 31. srpnu 2003).Minulà rok navÅtÃvilo obchodnà domy IKEA Group celkem 286 miliÃnÅ lidà a bylo vytiÅtÄno 131 miliÃnÅ kopià katalogu ve 45 edicÃch a 23 jazykovÃch mutacÃch. IKEA Group je nejvÄtÅà uÅivatel licence Inter IKEA Systems B. V., kterà je vlastnÃkem koncepce IKEA. DalÅà franÄÃzy najdete v nÃsledujÃcÃch 14 zemÃch a oblastech: AustrÃlie (1), Spojenà Arabskà EmirÃty (2), Åecko (1+*1), Hong Kong (4), Island (1), Izrael (1), Kuvajt (1), Malajsie (1), Nizozemà (1), Saudskà ArÃbie (2), Singapur (1), ÅpanÄlsko (3), Tchaj-wan (1) a USA (1).Celkovà souÄet pak ukazuje, Åe IKEA pÅsobà celkem v 31 zemÃch/oblastech svÄta a provozuje 186 obchodnÃch domÅ. © Inter IKEA Systems B.V. 1999 - 2003
  | 
 ochrana osobnÃch ÃdajÅ
 IKEA ve svÄtÄ