Как добавлять незагруженные ссылки в список ссылок при парсинге во вкладке "Контент"

Тема в разделе "Автоматизация парсинга", создана пользователем GRINE, 28 ноя 2018.

  1. GRINE

    GRINE Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    90
    Есть ли какая-то надстройка, чтобы те ссылки, которые не смогли загрузить прокси переходили в очередь на обработку?

    [​IMG]
     
    GRINE, 28 ноя 2018
    #1
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.636
    Ккк вариант, Пишите в файл и потом повторно запускайте проект с подгрузкой ссылок которые были удачно загружены.
    С проксями не работал, но попробуйте в auto включить галочку повторной загрузки
     
    Kreol, 28 ноя 2018
    #2
    GRINE нравится это.
  3. GRINE

    GRINE Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    90
    спасибо, нашёл)
     
    GRINE, 28 ноя 2018
    #3
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.758
    Город:
    Барнаул
    Смотрите, есть такой параметр, как количество попыток загрузки

    2018-11-29_10-25-59.png

    Если вы установите его значение, скажем, равное 10, то с большой вероятностью вы не получите ни одной ошибки загрузки WEB-документа (так как будет произведено 10 попыток загрузки каждого документа с разными прокси из списка).

    А вот, как при парсинге добавить ссылку в список, если документ не загрузился

    2018-11-29_10-30-45.png
     
    Root, 29 ноя 2018
    #4
    GRINE и Kreol нравится это.
Similar Threads
  1. MaiklWizard

    Незагруженные ссылки?

    MaiklWizard, 14 ноя 2015, в разделе: Решение различных задач по парсингу
    Ответов:
    1
    Просмотров:
    496
    kagorec
    15 ноя 2015
  2. sten30

    Нужно добавлять в список ссылок неудачные загрузки для повторного парсинга

    sten30, 10 сен 2017, в разделе: Функции и интерфейс программы
    Ответов:
    2
    Просмотров:
    363
    Root
    12 сен 2017
  3. Petrushan

    Парсинг ссылок с определенным класом

    Petrushan, 26 фев 2018, в разделе: Сбор ссылок сканером сайтов
    Ответов:
    5
    Просмотров:
    435
    Petrushan
    27 фев 2018
  4. Diabet

    Как добавлять ссылки в список ссылок при парсинге контента

    Diabet, 3 мар 2018, в разделе: Решение различных задач по парсингу
    Ответов:
    1
    Просмотров:
    287
    Root
    3 мар 2018
  5. BlackCard

    Задать имя папки или файла для парсинга во вкладке "Контент"

    BlackCard, 8 мар 2018, в разделе: Сохранение результата парсинга контента
    Ответов:
    3
    Просмотров:
    381
    BlackCard
    8 мар 2018
Загрузка...

Поделиться этой страницей