Парсинг интернет магазина wildberries ru

Тема в разделе "Готовые проекты от энтузиастов", создана пользователем Achronis, 2 сен 2020.

  1. Achronis

    Achronis Well-Known Member Пользователи

    Регистрация:
    30 июл 2020
    Сообщения:
    64
    Город:
    Барнаул
    Требуется тип лицензии ULTIMATE (для сбора характеристик товаров)

    Для сбора ссылок на товары: переходим во вкладку "Cсылки" и добавляем в шаблон генерации списка ссылок, ссылку на интересующую нас рубрику, например, женские блузки и рубашки
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Система помощи Ссылки недоступны для гостей

    После этого запускаем сбор ссылок (F5)
    После сбора ссылок переходим во вкладку "Контент" и запускаем парсинг товаров (F5)
    Получаем примерно такой результат
    2020-09-02_09-11-09.png
     

    Вложения:

    Trojan, Lexus, Miomio и 2 другим нравится это.
  2. Разиф

    Разиф New Member Пользователи

    Регистрация:
    7 дек 2012
    Сообщения:
    7
    Спасибо за проект. Но попробовав запустить сканер ссылок увидел что ссылки на товары только с первой страницы, и с второй страницы те же самые ссылки.
    Теперь просто по вхождению в фильтрах ".aspx?targetUrl=GP" не работает. Нужно по этой инструкции Ссылки недоступны для гостей добыть для каждой категории get запрос и подставить оператор num (например для будущие мамы)-
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
    и далее генерировать ссылки точности как здесь
    добавляем правило поиска замены (тоже самое что и видео выше)-
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
    . После запускаем, и получаем ссылки на товары. Парсинг товаров еще не проверял.
    p.s. прошу не пинать, софт у меня давно, но учусь каждый день.
     
    Последнее редактирование: 17 окт 2020
    Achronis нравится это.
  3. Trojan

    Trojan Member Пользователи

    Регистрация:
    9 ноя 2016
    Сообщения:
    23
    Все прекрасно работает
     
    Achronis нравится это.
  4. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    Что-то пропали "хлебные крошки на сайте". Кто-нибудь в курсе давно это у них? Есть идеи как рубрики теперь парсить?
     
  5. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Пример товара можно ?
     
  6. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    Ссылки недоступны для гостей
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Можно собрать товары со страниц категорий назначив хлебные крошки
    .
     
  8. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    Да тогда товары придется через GETMORECONTENT собирать, а это муторно. Мы можем при сборе ссылок в PARAM засунуть кусок кода с хлебными крошками со страницы рубрики?
     
  9. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Хлебные крошки не у всех товаров отображаются на WildBerries, это факт.
    Связано скорее всего с тем, что один и тот же товар может быть в разных смежных категориях.
    А если они обязательно нужны, то тут только сбор через страницы категорий + PHP_SCRIPT / GETMORECONTENT.
    Тогда у вас точно будет категория
     
  10. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    Короче, через PARAM добавляем родительскую ссылку, а потом через GETMORECONTENT идем по ней и собираем крошки. Получится просто и изящно и не надо парсить товары со страницы категории.
     
    Achronis и Root нравится это.
  11. kostaz

    kostaz New Member Пользователи

    Регистрация:
    15 мар 2021
    Сообщения:
    1
    Спасибо
     
  12. Bobo1711

    Bobo1711 New Member Пользователи

    Регистрация:
    5 апр 2020
    Сообщения:
    4
    можно ли как то просто спарсить все категории товаров , именно категории и подкатегории
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ответил в вашей теме...
     
  14. Trojan

    Trojan Member Пользователи

    Регистрация:
    9 ноя 2016
    Сообщения:
    23
    Только алтим. открываем сканер, парсим,
     

    Вложения:

    ITz нравится это.
  15. ITz

    ITz Member Пользователи

    Регистрация:
    31 янв 2020
    Сообщения:
    43
    Город:
    Third Rome
    это обычная практика маркетплейсов, к примеру на гудсе тоже самое..

    спасибо за проект!
     

Поделиться этой страницей