Парсинг RSS/Atom

Discussion in 'Развитие Content Downloader' started by Xim, Mar 23, 2021.

  1. Xim

    Xim New Member Пользователи

    Joined:
    Mar 8, 2021
    Messages:
    9
    Город:
    Moscow
    Приветствую.
    У заданного сайта нет XML карты, но есть RSS, у которого тоже структура xml.
    Ссылки я вытаскиваю из фида, но возникает проблема с LastMods.
    Возможно ли проверять изменения не только по <lastmod>? Но и например по <pubDate> (RSS формат), а в идеале было бы здорово задать такой параметр где заключена дата рядом с LastMods.
     
  2. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    На днях сделаю опцию.
     
  3. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Замените файл Content Downloader.exe этим файлом:
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    2021-03-24_08-03-52.png
     
  4. Xim

    Xim New Member Пользователи

    Joined:
    Mar 8, 2021
    Messages:
    9
    Город:
    Moscow
    Спасибо огромное о Великий. Это круто!
     
  5. Al195

    Al195 Member Пользователи

    Joined:
    Oct 19, 2021
    Messages:
    43
    Здравствуйте!
    подскажите пожалуйста
    что если вместо <lastmod> в настройках поставлю <loc>
    т.е ссылка сравнивается сама на себя, буду ли таким способом получать только новые ссылки при повторном парсинге ?
    дело в том что в <lastmod> донор каждый раз генерируют текущую дату по всем ссылкам не зависимо от изменения страницы и карта загружается полностью.
    Или может я что-то не так делаю ?
     
  6. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Используйте эту опцию

    2022-01-07_21-45-47.png
     
    Al195 likes this.
  7. Al195

    Al195 Member Пользователи

    Joined:
    Oct 19, 2021
    Messages:
    43
    Хорошо, спасибо как раз то что нужно!
    и ещё вопрос по сканеру ссылок
    настраиваю его и не могу понять как добавить его в автоматизацию
    чтоб запуск проекта начался со сканера и далее ссылки ушли в парсинг и в следующих сеансах исключить повторы ссылок.
    Пожалуйста дайте ссылку или пояснение, куда двигаться?
     
  8. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Пожалуйста.

    В справке написано Ссылки недоступны для гостей
     
    Al195 likes this.
  9. Al195

    Al195 Member Пользователи

    Joined:
    Oct 19, 2021
    Messages:
    43
    Увидел, спасибо!
    премного благодарен!
     
    Root likes this.

Share This Page