Как спарсить ссылки на товары для JS сайта

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем KEN, 3 авг 2015.

  1. KEN

    KEN New Member Пользователи

    Регистрация:
    2 авг 2015
    Сообщения:
    19
    Подскажите как правильно спарсить ссылки на товары для этого сайта
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 3 постов.**
    у сайта есть сайтмап, но там ссылки не на товары, а другие сайтпамы. Не найдя решение для сайтпама, как можно все оним махом загрузить, решил собирать ссылки сканнером сайта сраницу используя WBApp

    нашел страницу
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 3 постов.**
    с динамической подгрузкой контента, но столкнулся с таким явлением, как зависание окна WBApp. Иногда оно отвисает, а иногда приходится принудительно закрывать.

    Как быть подскажите?
     
  2. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    Ввведите на форуме тут в поиск сайтмара )ток латынскими как пиеться), имееться уже пару тем где есть решения описаны.
     
  3. KEN

    KEN New Member Пользователи

    Регистрация:
    2 авг 2015
    Сообщения:
    19
    Cпасибо за совет, все темы с сайтмапом перечитывал.
    Спасибо Root за эту подсказку
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Просто запустите сканер (ctrl+7).

    С уважением к вам, Сергей.
     

    Вложения:

  5. serg570

    serg570 New Member Пользователи

    Регистрация:
    21 янв 2014
    Сообщения:
    11
    я бы сделал так

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    вдруг не все товары в карту попали или скрыты
     
  6. lion

    lion New Member Пользователи

    Регистрация:
    19 янв 2013
    Сообщения:
    28
    Что бы не создавать отдельную тему спрошу тут.
    есть сайт главный sitemap сайт/sitemap_index.xml
    в котором находятся другие sitemap заключенные в <loc>Ссылки недоступны для гостей
    и в каждом sitemap уровнем ниже ссылки на товары так же заключаются в <loc>Ссылки недоступны для гостей на товар</loc>

    в сканер сайта добавляю главный sitemap сайт/sitemap_index.xml
    в фильтре ссылок указываю <loc>{get}</loc>
    но ссылки на товары не удается получить.
    Вопрос ерундовый, но что то делаю не так... подскажите куда смотреть :)

    Конечно во вкладке Ссылки можно по одному sitemap загружать, нажимая загрузить карту сайта, но sitemap очень много больше 100
     
  7. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    что мешает эти 100 сайтмапов вручную отобрать?*
     

Поделиться этой страницей