Медленный парсинг exist.ua через прокси

Добрый день.

Имеется проблема с парсингом сайта exist.ua

Парсили товары с сайта, по началу было все хорошо, потом начали банить IP адрес.
Купили прокси, через время тоже начали банить их.
Начали использовать мобильные прокси - первых 50 000 товаров спарсили без проблем, со скоростью все было хорошо.

Сейчас нужно спарсить еще 150 000 товаров.
Но скорость упала в несколько раз, хотя в самих проси ничего не изменилось.
Обратили внимание что на сайте изменились все классы, но на границах это не сказалось.

Подскажите, пожалуйста, из-за чего может быть такая проблема со скоростью и можно как-то ускорить этот процес?

 

Здравствуйте.

Скорость загрузки WEB-документа через прокси зависит от времени, с которым сайт (откуда парсите) ответит прокси-серверу, затем прокси ответит вашему ПК.

Проблема скорости здесь в соединении ваш ПК -> прокси -> сайт.

Также учтите, что если при парсинге WEB страница не скачалась, то производится повторная попытка отправки запроса.

Количество попыток загрузки документов выставляется в окне Ctrl+h.

То есть, снижение скорости парсинга в вашем случае может быть обусловлена повторными попытками загрузки с прокси, которые медленно срабатывают.

Других причин, как я знаю, нет.

Сергей.

 

Рекомендую подобрать нужное количество качественных прокси для парсинга этого сайта.