Сканер сайта в WBApp + сбор рубрик

Тема в разделе "Решение различных задач по парсингу", создана пользователем strateg2010, 3 ноя 2019.

  1. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    День добрый, подскажите какой мануал может подойти под такую задачу:
    есть сайт:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    На нем в левой колонке прописаны определенные категории: нужные всего 3, можно ли как то настроить с помощью wbapp сбор конкретной категории, т.е. даю ссылку на конкретную модель авто, wbapp нажимает (если есть) нужную категорию переходит в нее и выбирает подкатегории нужные, ищет ссылку(и) и записывает для данного товара эти категории и дальше все передает во вкладку контент или к примеру парсит ссылку на товар? с wbapp не получается подружиться(
    у товаров нету нормальных хлебных крошек и с товара не возможно получить главную категорию и подкатегорию (все остальное не проблема будет спарсить).
    Подскажите пожалуйста какие мануалы глянуть что бы правильно настроить WBapp под данную задачу?
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.434
    Адрес:
    Latvia
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Вручную перебрать все варианты и записывать итоговые ссылки которые будет доступны при выборе 3 селекторов.
     
  3. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    немного не понял о чем вы
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.434
    Адрес:
    Latvia
    Вручную решается. Никак не через Wbapp
     
  5. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    была такая мысля конечно но будет оочень долго все в ручную, попробую без Wbapp, если получится скину проект, мб улучшить можно
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.434
    Адрес:
    Latvia
    С такими селекторами получается так что отснифать надо каждый запрос и потом множить по последующим селекторам.
     
  7. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    В общем получилось собрать категории для товаров, но появилась новая проблема:
    собираю ссылки на категории откуда беру ссылки на товары, заметил что не все года для модели авто собирается, а т.е. есть такие как "- Универсал" - они мне нафиг не нужны (в принципе потом отфильтровать можно, но есть и такие модели что "- Универсал" ссылка есть, на год нету), а нужны конкретно год.
    Можно как то собрать уже через wbapp ссылки на категории?
    К примеру заходим на сайт выбираем конкретных брендов, у них поочередно выбираем модель, потом год. если несколько годов то клацкать по всем и получившуюся ссылку уже брать и так со всеми моделями и производителями?
    Сейчас есть дыры и не все товары в sitemap есть ((

    Или возможно ли тоже самое делать допустим через getmorecontent? не разу с ним не сталкивался потому и спрашиваю
     

Поделиться этой страницей