Hi - yes, we have seen that too at municipal and other government sites, maybe ignorance or whatever. Anyway, you besides URL filter checking you can add robots.txt to the list of what-is-going-on-reasons, or log at debug level, which i do not recommend.
Markus -----Original message----- > From:Jigal van Hemert | alterNET internet BV <[email protected]> > Sent: Wednesday 1st October 2014 8:54 > To: [email protected] > Subject: Re: Why are specific URLs not fetched? > > Hi, > > On 30 September 2014 11:29, Markus Jelsma <[email protected]> wrote: > > Ah, check this out: > > > > markus@chillout:~$ curl http://lochem.raadsinformatie.nl/robots > > User-agent: * > > Disallow: / > > Oh no <facepalm>. I never imagined that they would have set this on > their own public site with information about city council meetings. > But this explains the behaviour. > > Would've been nice of course if there was a short notification in the > Nutch log / output though. > > Thanks for thinking about this obvious option! > > -- > > Met vriendelijke groet, > > > Jigal van Hemert | Ontwikkelaar > > > > Langesteijn 124 > 3342LG Hendrik-Ido-Ambacht > > T. +31 (0)78 635 1200 > F. +31 (0)848 34 9697 > KvK. 23 09 28 65 > > [email protected] > www.alternet.nl > > > Disclaimer: > Dit bericht (inclusief eventuele bijlagen) kan vertrouwelijke > informatie bevatten. Als u niet de beoogde ontvanger bent van dit > bericht, neem dan direct per e-mail of telefoon contact op met de > verzender en verwijder dit bericht van uw systeem. Het is niet > toegestaan de inhoud van dit bericht op welke wijze dan ook te delen > met derden of anderszins openbaar te maken zonder schriftelijke > toestemming van alterNET Internet BV. U wordt geadviseerd altijd > bijlagen te scannen op virussen. AlterNET kan op geen enkele wijze > verantwoordelijk worden gesteld voor geleden schade als gevolg van > virussen. > > Alle eventueel genoemde prijzen S.E. & O., excl. 21% BTW, excl. > reiskosten. Op al onze prijsopgaven, offertes, overeenkomsten, en > diensten zijn, met uitzondering van alle andere voorwaarden, de > Algemene Voorwaarden van alterNET Internet B.V. van toepassing. Op al > onze domeinregistraties en hostingactiviteiten zijn tevens onze > aanvullende hostingvoorwaarden van toepassing. Dit bericht is > uitsluitend bedoeld voor de geadresseerde. Aan dit bericht kunnen geen > rechten worden ontleend. > > ! Bedenk voordat je deze email uitprint, of dit werkelijk nodig is ! >
