CD + прокси (ошибки + предложения).

При парсинге сайта, используя http(s) прокси, прочеканные в CD, возникают следующие ошибки:

файл не сохранён: результирующий документ оказался пустым
файл не сохранён: программе не удалось загрузить страницу

Около половины ссылок для парсинга с такими ошибками. Страницы по данным ссылкам нормально открываются в браузере, имеют в коде заданные границы парсинга, при последующем парсинге через прокси - могут и спарситься нормально.

При парсинге без прокси - ошибок не возникало.
Отсюда делаю вывод: если при парсинге страницы попадается нерабочий/заблокированный сайтом-донором прокси, то страница не может спарситься и выдаётся одна из вышеуказанных ошибок. Повторной попытки спарсить страницу с заменой прокси не происходит.

Предложение:
- парсить каждую ссылку "n" количество раз подряд (задаётся пользователем через интерфейс), меняя при этом прокси;
- прокси, при использовании которых возникло "n" количество ошибок, автоматом убирать из списка рабочих прокси, используемых программой, и сохранять в отдельный файл.
- ссылки, по которым после заданного "n" количества раз со сменой прокси, не удалось спарсить контент - сохранять в файл, как незагруженные.

Если у меня сложилось неправильное представление о работе программы, прошу не пинать, а разъяснить по возможности.

 

Этот пункт как-то странно работает (по моим наблюдениям - далеко не все неудачные ссылки добавляются ещё раз в конец списка). И добавляются они 1 раз или несколько?

 

Подскажите, будьте любезны)
Существует ли возможность вЫключить прокси исключительно для <php-script> макросов?
Помимо того, что мой кустарный скрипт отказывается работать с включённым прокси, есть ещё причина для существования отдельного тумблера: скорость. При отправке на собственный скрипт, анонимность ни к чему, а вот оперативность работы парсера страдает.

 

Здравствуйте, спасибо за сообщение, добавим эту опцию с выходом следующего обновления. Прошу подождать до 3 суток.
Спасибо!

 

Уже сделал, если хотите потестировать - напишите, пожалуйста, мне в Skype.