Парсинг при помощи WBapp или парсинг страниц с динамическими URL

Доброго всем дня!

Столкнулся с следующей ситуацией. Не знаю как решить.

Необходимо спарсить все сообщения определённых пользователей на форуме.

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Возможности вывести все сообщения на одной странице нет.

Так вот каким образом спарсить контент с последующих страниц, с учётом того, что ссылки вида Ссылки недоступны для гостей имеют динамический вид и соответственно собирать URL сканером ссылок не имеет смысла.

 

Благодарю всех за ответы, но

Смотрите, у меня задача следующая:

Выпарсить все сообщений определенных пользователь по ссылке "Найти все сообщения". Ссылка имеет адрес

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

. После того как по ней проходим, нас перенаправляет на

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Где "searchid=702477" временная сессия. То есть, если вам дать ссылку то форум отдаст "Извините, нет совпадений. Попробуйте указать другие ключевые слова.".

У меня где-то 150 пользователей, я уже писал выше, что ссылки собирать по ним бесполезно совершенно. Поэтому я хотел сделать как-то так:

1. Начинается процесс парсинга первой страницы, первого пользователя.
2. После того, как она спаршена, WBapp жмет на 2 стр. и начинается парсинг второй страницы.
2. Так далее по всем пользователям.

Это необходимо из-за того, что все страницы должны быть спаршены в рамках одной сессии.

Но, что-то так у меня не получается сделать

 

Я согласен с вами, поэтому я и обратился на форум

Но в данном случае нас все-ровно перекидывает на URL типа:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

А атм в свою очередь

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

10 стр. Всё дело в этих страницах, кол-во которых у каждого пользователя разное. Если бы можно было бы выводить все сообщения на одной странице, так не было бы проблем

 

Хмм, и что мы получим этими границами? Тем более что кол-во страниц не ограничивается последней страницей доступной с первой страницы.

К примеру:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

С первой страницы доступна лишь 5-я страница, но с неё уже доступна 9-я, а с 9-ой, 13-я и т.д.

Поэтому я и хотел сделать через WBapp чтобы загружать URL

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Парсить заданные границы, затем переходить по странице, пасрить её и т.к далее по всем пользователям.

Если спарсить searchid то при он затирается для юзер-агента, если он осуществил другой поиск.

То есть это означает, что получив при поиске "searchid" от одного пользователя, при поиске по другому пользователю, нам сгенерится другой "searchid" и первый уже будет не актуальный.

 

Хмм, теперь другая проблема, как передать в к примеру в [CHECKENTRY] имя пользователя или значение в &p=24802499, т.к это ID поста.

То есть мне надо настроить повторяющиеся границы и парсить только те в которых встречается это значение. Оно будет уникальным для каждой страницы, как его передавать?