403 ошибка при парсинге сайта Autocompas ru

Подскажите, пожалуйста, WBAppCEF имеет какой-то кэш, который необходимо периодически подчищать?

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Здравствуйте.

 

403 ошибку может выдавать сайт из-за частых запросов к нему.

Можно парсить в 1 поток и тогда такая ошибка не должна возникать.

Я попробовал парсить этот сайт в 5 потоков. Спарсилось около 500 документов, описанную ошибку не увидел.

Ссылки недоступны для гостей - справка по использованию прокси в WBAppCEF.

В Chromium (что используется в WBAppCEF) поддерживаются не все виды прокси. Самый оптимальный тип прокси для выбора ipv4 socks 4. Но прогружать такой сайт (2 500 000 символов на 1 WEB документ) не совсем целесообразно браузером и через прокси.

 

Вот файл проекта, где подгрузка данных производится с помощью макроса PHP_SCRIPT (без использования браузера).



Если нужно будет, зарядите список HTTP/HTTPS прокси для парсинга.