Не открывается ссылка

Здравствуйте. Ни одна библиотека кроме IE не работает с ссылкам вида Ссылки недоступны для гостей Но IE не подходит так как парсить надо периодически порядка 10000 товаров, а с помощью него ссылка открывается около минуты. Подскажите пожалуйста как парсить такие ссылки?

 

Может быть как-то можно передавать заголовки запроса?

 

IE вообще не вариант, даже если бы он быстрее грузил эту страницу. Пол дня будет парсить.

 

Все это решается без IE, если передавать заголовки запроса при парсинге, только в CD я этого не нашел. Может подскажите если есть такая функция в парсере?

 

Спасибо

 

Не помог ни один метод. По этому сайту вопрос остался открытым. Подскажите пожалуйста как его парсить ни одна из библиотек не открывает ссылки. Проект приложил

 

Ссылки недоступны для гостей

 

А вы пробовали в этом проекте ставить галочку "контент"? Грузит он одну ссылку 2 минуты. Потом еще дерево подгружается 3 минуты. Или поставить галочку "сканер сайтов" и запустить сканер?

 

Дерево отключил, по прежнему грузится долго, подключено напрямую, скорость интернета 100мб/с , IE 11 версии

 

Спасибо, работает! А что вы изменили, что он вдруг без ie заработал?

 

Просто я запустил с галочкой "контент", потом отменил потому что медленно работало, потом запустил без нее и заработало, хотя до этого работало только с галочкой "контент", странный феномен.