Парсинг новых ссылок

Добрый день!

когда в sitemap.xml ссылки типа
<url><loc>ссылка</loc><lastmod>2017-04-13T16:31:13+03:00</lastmod>
возникает желание парсить по карте сайта с учетом тега <lastmod> только обновленные страницы
(проверять lastmod отпарсенных раннее страниц и отбрасывать фильтром ссылку если ее дата не поменялась)

можете помочь советом или поделится проектом, где так реализовано? (для примера)

 

Здравствуйте.

Нужна доработка.

По срокам реализации сейчас вас сориентировать не могу.

С уважением к вам, Сергей.

 

не очень понял.. практически каждый второй sitemap.xml интернет-магазинов
ну например ozon.ru/sitemap.xml (его я парсить не собираюсь, просто для примера)
10-20 тыс строк такого вида как я написал, в каждой есть lastmod с временем обновления ссылки
<url><loc>ссылка</loc><lastmod>2017-04-13T16:31:13+03:00</lastmod>
поиск замена сама по себе тут ничего не решит
нужно при первом парсинге записывать содержимое lastmod для каждой строки (идентификатор строки - между тегам <loc>) в массив (переменную, файл, куда угодно)
при повторном парсинге сравнивая lastmod текущий и lastmod предыдущего парсинга отсеивать те что без изменений
как то так

 

или вы имели в виду что по этому принципу во вкладке контента можно добавать ссылку на xml файл карты сайта и через повторяющиеся границы + переменные + макросы сохранения в файл сравнить с предыдущими результатами парсинга

 

Здравствуйте. Указываю ссылку на карту sitemap, жму "загрузить карту сайта" ничего не происходит. Но такое только на одном сайте. Через браузер спокойно открывает эту ссылку. В чем может быть проблема?

 

проблема решена) Указал юзерагент яндексбот и заработало)))

 

Content Downloader X1 версии 11.1.0000231 (20.08.2017)

- Функция загрузки ссылок из XML-карт сайтов теперь имеет возможность определять новые ссылки по XML-атрибуту lastmod;
- Действие Флажков "обязательна" (из дополнительных настроек границ парсинга (ctrl+4)) теперь распространяется и на обычные границы парсинга, заданные внутри повторяющихся (циклы с "отмеченными" пустыми границами будут пропускаться);
- Функция загрузки XML-карт сайтов теперь имеет опцию включения использования библиотеки Windows для отправки запроса;
- В сканер сайтов добавлена опция учитывания значений [PARAM] при отсеивании дублей ссылок списка выдачи (при парсинге [PARAM] из кода WEB-документов);
- Несколько других доработок.

 

Теперь перехожу ко второму вашему вопросу.