Как спарсить параметры фильтрации товара

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем JagerJ, 16 фев 2017.

  1. JagerJ

    JagerJ Member Пользователи

    Регистрация:
    8 фев 2017
    Сообщения:
    46
    Не нахожу на странице товара с сайта Ссылки недоступны для гостей значений характеристик, которые донор использует в фильтрах.
    Например, товар - протеин: Ссылки недоступны для гостей
    Он выдается на странице фильтрации протеинов с фильтром "вид белка=Говяжий"
    Ссылки недоступны для гостей

    Но в странице самого товара я не нахожу кодов или чего-то подобного, по которым товар выбирается при фильтрации. А нужно не просто спарсить название+описание+цена, но и эти параметры для настройки фильтров уже у себя.

    Читал хэлпы, читал форум - не нашел подсказок. Заранее спасибо!
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Для решения этой задачи можно применить такой способ Ссылки недоступны для гостей (где вместо имени рубрики в ссылку будет записываться значение фильтра).

    С уважением к вам, Сергей.
     
  3. JagerJ

    JagerJ Member Пользователи

    Регистрация:
    8 фев 2017
    Сообщения:
    46
    Спасибо за быстрый ответ!
    Но в качестве источника ссылок для парсинга товаров категории я использую страницу, где не отмечен ни один из фильтров. Ссылки недоступны для гостей
    Если пользовать Ваш совет, то нужно с указанной начальной страницы включать по одному фильтр и с результирующей страницы выгребать товары. Ведь без перебора фильтров предложенный метод не сработает. Ход мысли верный?

    Попробую этот варинат и отпишусь.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Чтобы грамотно решить ваш вопрос нужно хорошо изучить сайт, алгоритм его работы. У меня такой возможности нет, я могу лишь дать советы или ответить на вопросы по функционал программы.

    С уважением к вам, Сергей.
     
  5. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте
    Руками переберите фильтры, это будет и быстрее и правильнее. Да способ не лучший, зато надежный.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вот такую ссылку вы же где-то взяли:
    Код:
    http://hiderefer.me/?https://www.proteinplus.com.ua/index.php?option=com_virtuemart&page=shop.browse&Itemid=41&category_id=&limitstart=0&product_type_id=5&product_type_5_proizvoditel_comp=in&product_type_5_proizvoditel[]=Scitec+Nutrition&product_type_5_vid_belka_comp=in&product_type_5_vid_belka[]=Говяжий
    Прямо в ней и содержится нужное вам значение фильтра! Значит его можно брать из ссылки.
     
  7. JagerJ

    JagerJ Member Пользователи

    Регистрация:
    8 фев 2017
    Сообщения:
    46
    Проблема решена.
    Перебор страниц фильтрованных товаров помог. Была такая структура: страница товаров Протеин - 852 единицы товаров с уникальными артикулами. На этой начальной есть настраиваемые фильтра. По совету Сергея открывал страницу категории товаров Протеин и включал только первый фильтр. Из результата парсил ссылки на протеины с добавлением в форму вывода названия фильтра. Возвращался на начальную - включал только второй фильтр. С результата тоже парсил ссылки на товары, добавляя имя фильтра. Затем в екселе поиск-заменой привел список ссылок к виду: url[PARAM]:Фильтр. Количество ссылок по фильтрам получилось около 2400. Спарсил ссылки на товары с начальной страницы без фильтров - мне показалось, что некоторые товары не попадают ни в один фильтр. Дальше - дело техники. Приклеил в екселе к списку 852 товаров начальной страницы (т.е. исчерпывающий список протеинов) значения фильтров с помощью функции Индекс и Поискпоз (=ИНДЕКС($A$653:$H$687;ПОИСКПОЗ(B2;$B$653:$B$687;0);3))

    Парсил в 10 потоков и столкнулся с баном. Поставил VPN со странички Ссылки недоступны для гостей и поставил 1 поток - отлично справился.
     
    Root нравится это.
  8. JagerJ

    JagerJ Member Пользователи

    Регистрация:
    8 фев 2017
    Сообщения:
    46
    Значения фильтров действительно есть в ссылках, но только в ссылках страниц фильтрованных списков, а в обычной странице товара - нет такого.
     
    Root нравится это.

Поделиться этой страницей