Как добавлять незагруженные ссылки в список ссылок при парсинге во вкладке "Контент"

Тема в разделе "Автоматизация парсинга", создана пользователем GRINE, 28 ноя 2018.

  1. GRINE

    GRINE Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    77
    Есть ли какая-то надстройка, чтобы те ссылки, которые не смогли загрузить прокси переходили в очередь на обработку?

    [​IMG]
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.478
    Ккк вариант, Пишите в файл и потом повторно запускайте проект с подгрузкой ссылок которые были удачно загружены.
    С проксями не работал, но попробуйте в auto включить галочку повторной загрузки
     
    GRINE нравится это.
  3. GRINE

    GRINE Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    77
    спасибо, нашёл)
     
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.919
    Город:
    Сочи
    Смотрите, есть такой параметр, как количество попыток загрузки

    2018-11-29_10-25-59.png

    Если вы установите его значение, скажем, равное 10, то с большой вероятностью вы не получите ни одной ошибки загрузки WEB-документа (так как будет произведено 10 попыток загрузки каждого документа с разными прокси из списка).

    А вот, как при парсинге добавить ссылку в список, если документ не загрузился

    2018-11-29_10-30-45.png
     
    GRINE и Kreol нравится это.

Поделиться этой страницей