Patrick Valibus 410 Gone <patr...@valib.us> added the comment: Bonjour, nous n'avons pas réussi à le faire fonctionner. Nous l'avons utilisé dans le cadre d'un test seo car nous essayons e reproduire des alternatives à scrappy. Par exemple le robots devrait bine crawler la page de notre agence seo https://www.410-gone.fr/seo.html mais ne devrait pas accepter les pages finissant par /*.php$ et pourtant si malgré qu'elles soient bloquées en référencement dans notre robots.txt, merci.
---------- nosy: +Patrick Valibus 410 Gone -Fred AYERS, artasca, cheryl.sabella, lagustais, mathias44, quentin-maire _______________________________________ Python tracker <rep...@bugs.python.org> <https://bugs.python.org/issue36207> _______________________________________ _______________________________________________ Python-bugs-list mailing list Unsubscribe: https://mail.python.org/mailman/options/python-bugs-list/archive%40mail-archive.com
