Парсинг в режиме "паука"

Сейчас можно настроить сканер так, чтобы он собирал только внешние ссылки и ходил только по внешним ссылкам, как вы и просите (добавить в фильтр [DOMEN]). Только сканер будет собирать и собирать, пока не остановите его или список очереди не опустеет...

Ограничивать количество переходов нельзя и делать это не планирую пока...

Вы можете прогнать список ссылок сначала один раз (кнопка "редактировать список очереди")(с включенной галочкой "не пополнять очередь"), затем второй раз (и прогонять, сколько вам нужно раз).

 

не совсем, но тема та же)
хрефер собирает ссылки с поисковиков.

у меня же потребность такая:

парсер заходит на форум, парсит оттуда все внешние ссылки со всех веток, переходит по этим ссылкам на другие форумы, парсит все внешние ссылки со всех веток, переходит по этим ссылкам, парсит, переходит, парсит и так далее.
называется парсер-паук.
такого нет ни в хрефере, ни пока в CD

 

никак не могу нормально объяснить, еще раз пробую))

парсер заходит на форум, парсит оттуда все внешние ссылки со всех веток, переходит по этим ссылкам на другие форумы, парсит все внешние ссылки со всех веток, переходит по этим ссылкам, парсит, переходит, парсит и так далее.
называется парсер-паук.

вот это я хотел)

ну это все на автомате разумеется)

 

Теперь понял, спасибо, но, думаю, такое делать не будем...

 

ээх, жаль) как я писал - то очень востреованная тема на одном закрытом форуме, там такой парсер продается за 120 у.е.
если б сделали, могли бы там продавать, там аудитория платежеспособная

 

+1 присоединяюсь

 

Присоединяюсь к выше упомянутой проблеме. Очень востребованная функция которая решает очень много проблем. Спасибо!

 

Если это для парсера доделать реально -поддерживаю. Заранее Спасибо!

 

+1
Было бы полезно собирать таким пауком мейлы с внешних сайтов в процессе работы