Hi Steven, On 25 November 2016 at 14:53, Steven Hayles <[email protected]> wrote:
> > This email exchange may help http://www.mail-archive.com/us > er%40nutch.apache.org/msg13753.html >From that exchange it seems that something is really missing from the crawl script. There are two solutions mentioned: - an extra clean command before the dedup - the option -deleteGone for the index command Which one is the correct solution? On Fri, 25 Nov 2016, Marty-Scott Sainty (NWIS - Software Development) wrote: Hi, > > Is there a setting to get Nutch to remove 404 pages from Solr? > > I'm currently testing the behaviour with different status codes and Nutch > doesn't remove pages with 404 status codes. > > Any help would be much appreciated. > > Cheers, > > Marty > > > > > -- Met vriendelijke groet, Jigal van Hemert | Ontwikkelaar Langesteijn 124 3342LG Hendrik-Ido-Ambacht T. +31 (0)78 635 1200 F. +31 (0)848 34 9697 KvK. 23 09 28 65 [email protected] www.alternet.nl Disclaimer: Dit bericht (inclusief eventuele bijlagen) kan vertrouwelijke informatie bevatten. Als u niet de beoogde ontvanger bent van dit bericht, neem dan direct per e-mail of telefoon contact op met de verzender en verwijder dit bericht van uw systeem. Het is niet toegestaan de inhoud van dit bericht op welke wijze dan ook te delen met derden of anderszins openbaar te maken zonder schriftelijke toestemming van alterNET Internet BV. U wordt geadviseerd altijd bijlagen te scannen op virussen. AlterNET kan op geen enkele wijze verantwoordelijk worden gesteld voor geleden schade als gevolg van virussen. Alle eventueel genoemde prijzen S.E. & O., excl. 21% BTW, excl. reiskosten. Op al onze prijsopgaven, offertes, overeenkomsten, en diensten zijn, met uitzondering van alle andere voorwaarden, de Algemene Voorwaarden van alterNET Internet B.V. van toepassing. Op al onze domeinregistraties en hostingactiviteiten zijn tevens onze aanvullende hostingvoorwaarden van toepassing. Dit bericht is uitsluitend bedoeld voor de geadresseerde. Aan dit bericht kunnen geen rechten worden ontleend. ! Bedenk voordat je deze email uitprint, of dit werkelijk nodig is !
