мягкий бан, не обходящийся прокси

подскажите, как решить:

есть сайт, который, подозревая, что его парсят, выдает капчу (да тот же Гугл, как известно, так же себя ведет),

тем не менее, страница отадется: STATUS 200 OK, все дела,

но контент-то на странице не отдался, что можно видеть по размеру страницы в логе парсинга.

Как можно не считать эти страницы скачанными и возвращать их в лист парсинга в процессе работы?

Т.е. потом, проанализровав лог, я смогу это сделать, но хотелось бы, чтобы программа не писала на такие URLы "выполнено"

 

Здравствуйте.

Вкладка "контент" - группа "парсинг и обработка" - кнопка "автоматизация..." - галочка "пытаться повторно загружать документы" (+ смотреть ее опции правее галочки).

С уважением к вам, Сергей.

 

о, то, что нужно, спасибо!

 

Пожалуйста.

Обращайтесь...

 

Проблема примерно та же, но. Используются список прокси. Есть подозрение, что при парсинге, при подобном бане, CD получает страницу, не находит там обязательных границ, помещает саму ссылку в повтор, но адрес прокси при этом не выкидывает из списка. Судя по мониторингу подобный адрес начинает плодить эти повторы, в целом замедляя сам процесс парсинга. Используется несколько машин парсящих один и тот же сайт и это хорошо заметно. Как настроить удаление прокси не только не получающего страницу, но и не находящего на ней нужных границ в течении определенного количества попыток?

 

Скорее всего, нужно пробовать делать комбинацию через CHECKENTRY, INT_ID (или COUNT) и PROXY_DELETE.

Внутри CHECKENTRY вгоняем условие, если INT_ID (или COUNT) повторится определенное кол-во раз (страница не загружена и/или отсутствует одна из границ), сработает макрос PROXY_DELETE.

Это примерно и в кратце, в каком направлении скорее всего нужно смотреть

 

Спасибо за наводку, буду смотреть.