Загрузить все страницы выдачи поисковика

всем привет! внимание вопрос
есть такой поисковик Ссылки недоступны для гостей парсю первую страницу ссылок по запросам легко, а вот со второй проблемы, ну и последующими тоже, дело в том что перед урлом сайта проставляются рандомно - s2-eu5.Ссылки недоступны для гостей например
посмотрел видео по POST , там немного другая ситуация. сможет ли твоя программа победить такое чередование в урле при переходе на 2-ю страницу?
если не победим, то ...
гуру, помогите

 

Здравствуйте.

Как вариант, имитировать прокликивания по страницам выдачи в приложении WBApp Ссылки недоступны для гостей

 

вобщем кликается в настройке проекта, а при запуске нифига, и нужно же еще спарсить ссылки о второй страницы, нифига не могу подружить, хелп ми

 

Здравствуйте

 

такс, ну с этим теперь понятно что делать, вот взял я это html код, как его в повторяющихся границах забрать, в итоге

спасибо! методом тыка настроил дальше, в поле в самой программе ввел границы повторяющиеся <CD_CYCLE_GRAN_1!> , парсинг получился. может как-то еще можно сделать для ускорения? но долго с этим webapp, 1 поток это даааа. перспективы по 5-10 потоков далекие?

 

Увеличивайте потоки на сколько вам ваш процессор и сеть позволяют.

 

еще один клон поисковика Ссылки недоступны для гостей
хочу его без webapp распарсить, стандартными методами, но почему-то не дают выдачу при входе на страницу через программу, ставил в clever https PreSET1 и без разницы, кто знает победить можно?

 

Все работает

Спойлер

На будущее, прежде чем писать на форум, поиграйте с настройками CDX - в 99% помогает быстрей, чем ждать ответ на форуме

 

ок, а ссылки у вас видны в коде из этой выдачи?

 

Видны, после того как WEBApp отработает

Спойлер