В сообщении от Вторник 10 июля 2007 20:15 jetxee написал(a): > По-быстрому можно попробовать собрать ссылки, например, так: > > $ wget -m --no-verbose -np -o log -D news.yandex.ru http://news.yandex.ru/ > $ cat log | grep URL: | sed 's/.*URL://' | awk '{print $1;}' > http://news.yandex.ru/ > http://news.yandex.ru/robots.txt > http://news.yandex.ru/favicon.ico > http://news.yandex.ru/opensearch.xml > http://news.yandex.ru/index.rss > http://news.yandex.ru/setup/ > http://news.yandex.ru/faq.html > .... > > Не проверял, собёрутся ли так все ссылки, но все внутренние данного > сайта/раздела сайта, наверное, точно соберутся.
Насколько я понимаю, wget может просто собрать и отдать список ссылок :-)
