При использовании списка прокси серверов не загружает часть WEB документов

Добрый день!

В парсинге с сайта используются бесплатные прокси, потому что сайт блокирует парсинг. Но некоторые прокси пропускают парсинг и некоторые страницы не скачиваются. Банально, из-за антивируса, например или недоступности прокси. В проекте используется сбор характеристик по столбцам через DYNAMICVALUES.

Так вот, как решить проблему, допарсинга в тот же файл характеристик в те же колонки? Ведь если делать новый парсинг недостающих страниц как обычно, характеристики будут содавать новые колонки в другом порядке, и, просто соединение двух файлов в блокноте не прокатит.

 

Здравствуйте.

 

Стояло 10. В процентном соотношении было пропусков около 20%.
Но все же, можно ли докачивать в тот же файл с использованием DYNAMICVALUES?

 

Пока нет.

Увеличивайте попытки загрузки, пока не будет пропусков.

 

Или добавьте в окно Ctrl+6 макросы:

Код:

[ADDURL]<CD_DOCURL!>[/ADDURL]

Эти макросы будут добавлять URL не-загруженного документа в конец списка ссылок.

Но все же правильнее увеличить количество попыток загрузки WEB-документа.

 

Складывается ощущение, что повторная попытка происходит с тем же прокси. Это так? А можно, чтобы попытка была с помощью следующего прокси адреса?
Потому что я увеличил число попыток до 50 и все равно пропуски.

 

Естественно, следующая попытка загрузки выполняется со следующим прокси из списка (это видно в логе окна предпросмотра результатов парсинга). Так получается, что все 50 попыток у вас проходят неудачно для некоторых документов.

Со слов суть проблемы диагностировать не могу.

Проект нужно ваш тестировать с вашим списком прокси. Можете выложить под хайдом, чтобы видел только я.

 

Я и до 1000 поднимал, бесплатные прокси они такие.