Сайт банит за частые запросы

Здравствуйте! Парсил успешно, но через какое то время перестал парсить, очевидно сайт забанил мой ip. Но, странное дело, из обычного браузера страницы открываются свободно. Возможно обойти этот бан в таком случае? Сделал ctrl+р - clever int. suite - текст стал парсить, но картинки по-прежнему не загружаются

 

Здравствуйте.

Программа и сайт посылают запросы с разными HTTP-заголовками. Если хотите парсить, как браузером, парсите с помощью WBApp.

В вашем случае, как я понял, вы получаете временный бан от сайта. Его можно обойти с помощью списка качественных прокси или просто не доводить до него парся в 1 поток с подобранной для сайта паузой между запросами.

 

Спасибо!