Парсинг RSS/Atom

Тема в разделе "Развитие Content Downloader", создана пользователем Xim, 23 мар 2021.

  1. Xim

    Xim New Member Пользователи

    Регистрация:
    8 мар 2021
    Сообщения:
    9
    Город:
    Moscow
    Приветствую.
    У заданного сайта нет XML карты, но есть RSS, у которого тоже структура xml.
    Ссылки я вытаскиваю из фида, но возникает проблема с LastMods.
    Возможно ли проверять изменения не только по <lastmod>? Но и например по <pubDate> (RSS формат), а в идеале было бы здорово задать такой параметр где заключена дата рядом с LastMods.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    На днях сделаю опцию.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2021-03-24_08-03-52.png
     
  4. Xim

    Xim New Member Пользователи

    Регистрация:
    8 мар 2021
    Сообщения:
    9
    Город:
    Moscow
    Спасибо огромное о Великий. Это круто!
     
  5. Al195

    Al195 Member Пользователи

    Регистрация:
    19 окт 2021
    Сообщения:
    42
    Здравствуйте!
    подскажите пожалуйста
    что если вместо <lastmod> в настройках поставлю <loc>
    т.е ссылка сравнивается сама на себя, буду ли таким способом получать только новые ссылки при повторном парсинге ?
    дело в том что в <lastmod> донор каждый раз генерируют текущую дату по всем ссылкам не зависимо от изменения страницы и карта загружается полностью.
    Или может я что-то не так делаю ?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Используйте эту опцию

    2022-01-07_21-45-47.png
     
    Al195 нравится это.
  7. Al195

    Al195 Member Пользователи

    Регистрация:
    19 окт 2021
    Сообщения:
    42
    Хорошо, спасибо как раз то что нужно!
    и ещё вопрос по сканеру ссылок
    настраиваю его и не могу понять как добавить его в автоматизацию
    чтоб запуск проекта начался со сканера и далее ссылки ушли в парсинг и в следующих сеансах исключить повторы ссылок.
    Пожалуйста дайте ссылку или пояснение, куда двигаться?
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    В справке написано Ссылки недоступны для гостей
     
    Al195 нравится это.
  9. Al195

    Al195 Member Пользователи

    Регистрация:
    19 окт 2021
    Сообщения:
    42
    Увидел, спасибо!
    премного благодарен!
     
    Root нравится это.

Поделиться этой страницей