Парсинг сайтов с редиректом

Пробую спарсить ссылки/контент с сайта, который к себе пускает только ботов, людей редиректит на партнерку. Выставляю юзер агенты ботов, однако, html код в браузере предпросмотра cd выдает код страницы иного ресурса (на который ведет редирект), а визуальный просмотр сайта показывает реальный контент, который мне и нужен. Подскажите, как правильно настроить cd чтобы победить редирект?

 

Без ссылки не понять о чем речь

Браузер предпросмотра CD , если мы правильно друг друга понимаем, не учитывает передачу заголовков, которые Вы передаете через CD

 

Оказывается парсить нужно было без "Ссылки недоступны для гостей". Не ясно почему так, до этого парсил урлы только c приставкой http. Опять-таки, почему-то парсит первые 50 ссылок и все.

 

Возможно сайт временно банит за частые запросы. Попробуйте парсить в 1 поток с подбором паузы между запросами. Если не поможет, используйте прокси.

 

Все получилось, спасибо.