Как парсить только новые страницы/товары на сайте?

Тема в разделе "Решение различных задач по парсингу", создана пользователем madison21, 23 сен 2019.

  1. madison21

    madison21 Member Пользователи

    Регистрация:
    17 июл 2017
    Сообщения:
    63
    Ребят, сегодня открыл для себя новый инструмент парсинга ссылок через карту сайта sitemap.xml
    Подскажите, возможно ли таким образом отслеживать новые страницы (в моём случае новые товары), которые добавляются на сайт?
    Или есть более удобный способ отследить новые страницы (товары)?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  3. madison21

    madison21 Member Пользователи

    Регистрация:
    17 июл 2017
    Сообщения:
    63
    То есть в эту графу нужно указать файл карты сайта?
    Но ведь там новые ссылки будут со всеми старыми.. правильно?
    Надо тогда файл указывать? Как тогда его получить?
     
  4. madison21

    madison21 Member Пользователи

    Регистрация:
    17 июл 2017
    Сообщения:
    63
    Разобрался.
    Сохранил все ссылки в формате .txt потом удалил пару ссылок и протестил, всё работает.
    Спасибо большое за помощь!
     

Поделиться этой страницей