Существует ли инструмент для получения ВСЕХ ссылок на сайте с их классификацией по страницам, директориям и типам (внутренние, внешние, http, ftp, rss, ...)?
Ключевое слово - spider, а остальное делается каким-нибудь перлом (классификация, которая интересует тебя, скорее всего, отличается от той, которая интересует других).
