Как парсить сайт Avon

Всем привет! Пример категории товаров Ссылки недоступны для гостей
проблема возникает с получением списка товаров.

Генератор урл формирует относительные ссылки вида
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей

Как сделать чтобы парсер обрабатывал страницу как браузер и только тогда брал ссылки?

 

Рекомендую товары получить из карты сайта
Ссылки недоступны для гостей

 

Большое спасибо, поставил лайк, помогло, но столкнулись с еще одной задачей по ссылкам из этого сайта - а именно то что не может обойти правильно в списке очереди нумерацию.
Даже при задании страниц вручную
Ссылки недоступны для гостей - парсит 20 ссылок. все ок.
Ссылки недоступны для гостей - сайт кидает на страницу ?pn=1
Даже в браузере - если напрямую вписать в адресной строке 2 - кидает на страницу 1.
Есть кнопка показать все. Но она не меняет ссылку в урл. Сайт подгружает страницы скриптом.
Как бы это еще грамотно обойти....
У конкурентов (не буду писать название) есть кнопка "Имитировать клик по ссылке". А как это сделать в X1? Потому что сайт постоянно кидает на ?pn=1.
Либо вариант 2 - дописать что то в адрес ссылки чтобы показало все товары этого раздела (но наподобии ?pn=all) тоже не работает.

 

Вот такие там запросы идут при открытии страниц рубрики:



Нужно прокликивать страницы рубрики в WBApp Ссылки недоступны для гостей

 

Спасибо, только не пойму такая ситуация- 1 раз нормально сработало. спарсило 49 ссылок.
Потом сколько не правил парсит те же 20).
Хотя при просмотре браузера я вижу что кнопка "показать все "нажимается, но таймаут не проходит.
Время увеличивал. Даже для теста дописал функцию waitforme
[DOWNLOADIMAGES] (кстати хотел спросить зачем тут эта?)
[CLICK][innerhtml][N]0[/N][FULL]:Подивитися все (после выполнения этой окно сразу закрывается....не пойму чего так.)
[WAITFORME] (ctrl+w для продолжения) (а до этой не доходит выполнние)
[WAIT]:6000

 

Какая у вас Windows и какой версии в ней установлен Internet Explorer?

 

Win10
IE 11.103
может локальное что то. Завтра попробую с другого ПК.

 

Несколько раз еще раз проверил - все ok!