Требуется понимание - не хватает товаров в сайтмап.

Тема в разделе "Решение различных задач по парсингу", создана пользователем MaiklWizard, 5 май 2021.

  1. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Доброе время суток. Нашел очень нужного себе донора.
    Нашел Ссылки недоступны для гостей Но вот беда, в этом сайтмапе - почему-то не все товары есть, например Ссылки недоступны для гостей - этого нет, и таких встречается довольно много((.

    Запустил сканер ссылок, сканер уже собрал довольно много, но этой моей ссылки пока все еще нет, хотя товаров в сканере ссылок - уже больше в три раза чем в сайтмап.

    Ссылки недоступны для гостей

    Что я не так делаю. куда пропали остальные ссылки с сайтмапа, и как их всех достать?
     
  2. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Судя по сайтмапу, его не обновляли уже таки очень давно.
    Проще сделать в 2 этапа:
    1) спарсить все ссылки на товары через каталог (Ссылки недоступны для гостей)
    2) Непосредственно, сам парсинг данных с товаров.
     
    kagorec, MaiklWizard и Root нравится это.
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Многие магазины имеют sitemap.xml устаревший, наверняка в целях экономии ресурсов генерируют обновление списка через большой интервал времени.
    Обратите внимание что все товарные ссылки на данный момент доступны на 22-ух страницах (../products?page=22)
    Действуйте как описано в справке: Ссылки недоступны для гостей
     
    kadishev1997 нравится это.

Поделиться этой страницей