Как работает "пытаться повторно загружать документы"

Тема в разделе "Функции и интерфейс программы", создана пользователем JagerJ, 22 фев 2017.

  1. JagerJ

    JagerJ Member Пользователи

    Регистрация:
    8 фев 2017
    Сообщения:
    46
    Здравствуйте! Подскажите, где посмотреть порядок работы инструмента автоматизации, когда отмечаешь галочкой пункт "пытаться повторно загружать документы". У меня ситуация: в предпросмотре все отлично выглядит, но когда парсю - не все странички попадают в результат. Отмечаю загружать повторно - такое впечатление, что программа один раз переставляет ссылки в конец списка, а на втором круге уже просто игнорирует их, так и оставляя не скачанными. Вроде помогало использование DOM во вкладке Контент - но тоже случаются пропуски. Самое обидное - один раз получилось спарсить все 505 товаров, но досмотрел, что не выставил границы для важного реквизита.

    P.S. Это все лирика - главный вопрос - как работает "пытаться повторно загружать документы"
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Обратите внимание на более новую опцию попыток загрузки документа:
    2017-02-22_11-36-26.png

    Также, если сайт проблемно парсится, попробуйте уменьшить количество потоков, скажем, до 5
    2017-02-22_11-37-39.png

    С уважением к вам, Сергей...
     
  3. JagerJ

    JagerJ Member Пользователи

    Регистрация:
    8 фев 2017
    Сообщения:
    46
    Спасибо! Так и сделал - поставил 100 попыток и 1 поток. Надеюсь медленно - но уверенно получу результат. Отпишусь.
     
    Root нравится это.
  4. JagerJ

    JagerJ Member Пользователи

    Регистрация:
    8 фев 2017
    Сообщения:
    46
    В настройках, которые я указывал последними - все работает.
     
    Root нравится это.

Поделиться этой страницей