Парсинг ссылок с форума, строго с определенной ветки.

Доброго всем дня!

Столкнулся с проблемой настройки парсинга страниц.

Есть определенная ветка обсуждений , к примеру: Ссылки недоступны для гостей.
Мне необходимо выпарсить все ссылки на темы, к примеру: Ссылки недоступны для гостей
Но, затем, по этим ссылкам, выпарсить все страницы темы.
Глубина тут мб разная, то есть в какой-то темы есть 1-2 страницы, в каких то 80. Как тут быть?
Сейчас он парсит только те страницы, которые видны с Ссылки недоступны для гостей и т.д.

 

Именно у тут.бая есть карта сайта... даже несколько карт сайта. Может проще сразу оттуда взять все ссылки с "showthread" и не надо ничего парсить будет?

 

Там нет карты сайта по страницам отдельной темы.

 

В два прохода сделайте:
1) Собрать все ссылки на первые страницы тем;
2) Сканером сайтов прошерстить все темы с параметром "добавлять в очередь только ссылки с":
showthread.php?t=
&page=
И включить ЧекБокс и/или

 

Как я понимаю, первый пункт рекомендуется выполнять парсером, а не сканером сайтов?

 

Да.

 

Так, получилось 65к урлов.

Куда в сканере их добавлять?

 

Интуитивно можно было понять изучив интерфейс окна сканера сайтов:
Кнопка "редактировать список" или кнопка "добавить ссылки из списка парсинга".

 

Это то я понял. Вопрос возник потому, что с учетом рекомендованных настроек, добавляются ссылки совсем не те, что я бы желал

А именно, см. скрин.



ПС.
Мб это дополнительно настраивается в фильтрах?

 

Вроде бы разобрался, благодарю

 

Парсер ссылок понимает регулярные выражения? Если да то в каком виде их нужно прописывать в шаблоне