Страница ошибки после сбора ссылок

Приветствую!
Столкнулся с такой ошибкой. После сбора ссылок, при парсинге контента, некоторые ссылки ведут на страницу ошибки, но когда на страницу товара заходишь по иерархии, то есть по категориям, то страница товара уже становится рабочей.
Я уже и заголовки копировал, и куки и реферера задавал, ни в какую... Странно как то работает, прохожусь по списку и проверяю, некоторые нормально открываются, остальные на ошибку...

Помогите разобраться, может я упустил момент какой нибудь(
Приложил файл проекта.

За ранее спасибо.

 

Здравствуйте.

Видимо сайт проверяет наличие правильного Referer в заголовках запроса.

Можете привести пример ссылки (которую не открывает) и адрес ее родительской рубрики.

 

Ссылка которая не открывается: Ссылки недоступны для гостей
Родительская рубрика: Ссылки недоступны для гостей
Подкатегория: Ссылки недоступны для гостей

 

Там, как оказалось, не в HTTP-заголовках запроса дело.

Если в одном браузере перейти по ссылке на товар из страницы подрубрики, то в других браузерах ссылка на товар будет открываться по ее прямому адресу.

То есть, как я понял, сайт определяет компьютер, который к нему обращается, и каким-то образом проверяет, кликались ли ссылки на товар в браузере.

Подозреваю, что парсить этот сайт нужно с помощью имитации кликов в WBApp.

Возможно, что я тут что-то упустил. Долго разбираться с этим сайтом не могу.

 

Спасибо

 

Пожалуйста.