Помогите обойти защиту на сайте.

Добрый день, сайт удаётся спарсить 2 страницы, потом сайт не открывается, как можно обойти защиту?

 

Здравствуйте.

Попробуйте поставить 1 поток при парсинге.

PS: Лучше описать, какие именно действия приводят к бану.

С уважением к вам, Сергей.

 

Сергей, не грузится сайт именно в content downloader.
Если без IE (DOM), то ошибка Программе не удалось загрузить WEB-страницу (HTTP/1.1 404 Not Found)
Если с IE (DOM), то в окне видно, что сайт открывается, но не грузится контент.

 

Выполнил у себя на ПК предпросмотр парсинга 5 ссылок из вашего проекта - вышеуказанных проблем не выявил.

 

Запустил ваш проект и получил этот файл, вроде все ок?

 

В настройках покопался, всё заработало. Рад что у нас в городе, делают такие замечательные программы )))

 

проблема осталась, из 15к ссылок спарсилось, только 7к..

 

Попробуйте снизить количество потоков (поставить 1 или 2). Возможно, сайт банит из-за частых обращений.

 

не помогает

 

Скопируйте сюда ссылку, которую не удается загрузить, на вашем скриншоте не видно.

 

Простите, где лог?

 

IE (DOM) включать не нужно. Попробуйте поставить 1 поток и паузу 1000-2000

С уважением к вам, Сергей.

 

у вас без ошибок? В общем понятно, никаких хитростей здесь нет в настройке, просто уменьшить количество запросов

 

Ваш проект (который скидывали) без ошибок, результат я вам показывал.

 

по результату не совсем понятно, Вы логи не смотрели? Если есть время прогоните ещё раз по этим ссылкам и логи скиньте

 

Логи сразу смотрел, все загружены.

PS: Если включен IE (DOM) в ctrl+h - отключите.

 

Скриншот

 

выложите пожалуйста свои настройки, у меня даже с 1 потоком ошибки лезут

 

Пожалуйста.

 

ничего не изменилось, также ошибки