Парсинг вариативного товара

Тема в разделе "Решение различных задач по парсингу", создана пользователем Sm0ll, 25 ноя 2020.

  1. Sm0ll

    Sm0ll New Member Пользователи

    Регистрация:
    25 ноя 2020
    Сообщения:
    5
    Город:
    Саратов
    Добрый день. Необходимо спарсить вариативный товар на примере данной карточки товара
    Ссылки недоступны для гостей
    Имеется 9 цветов двери и для каждого цвета есть 8 вариаций стекол. Всего получается 72 вариации.
    У каждой вариации есть своя картинка. Ее можно получить в коде, только когда выбрана определенная вариация.
    Спарсить нужно 4 составляющих:
    Модель
    Цвет
    Стекло
    Увеличенная картинка

    Месяц уже бьюсь над задачей, никак не могу понять как все правильно сделать
    Помогите пожалуйста.
    Файл CSV прилагаются.
     

    Вложения:

    • Profildoors.csv
      Размер файла:
      803 байт
      Просмотров:
      2
    • 22.jpg
      22.jpg
      Размер файла:
      201,4 КБ
      Просмотров:
      7
  2. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Не могу понять, почему вы над этим проектом работаете целый месяц.

    Делаете в 2 проекта:

    №1. Собираете ссылки, а точнее названия: все варианты цветов и стекол. Они есть в коде. По итогу, они выдаются GET-запросом.
    Где:
    Ссылки недоступны для гостей - товар
    color - Цвет (вариант)
    glass - Стекло (вариант)

    После, в редакторе CSV методом генерации (Ссылки недоступны для гостей) размножаете строки с цветом и стеклом. Объединяете это все с ссылкой товара, тем самым собираете все варианты воедино.

    №2. Вставляете готовые сгенерированные ссылки в программу, настраиваете нужные параметры парсинга.

    Profit!
     
    Sm0ll нравится это.
  3. Sm0ll

    Sm0ll New Member Пользователи

    Регистрация:
    25 ноя 2020
    Сообщения:
    5
    Город:
    Саратов
    Спасибо за ответ прежде всего.
    Я правильно понял, нужно данным методом сгенерировать 72 ссылки, а затем по этим ссылкам спарсить каждый товар?
    Я думал уже над этим вариантом. Хотел получить каким либо образом как раз ссылки вида .../serija_u/2u/?color=manhattan&glass=tinted_glass для каждой вариации товара.
    Но дело в том что товаров очень много, в одной этой серии их больше сотни, и соответственно вручную добывать ссылки будет тяжеловато.
    Я думал может быть через имитацию действий в браузере можно решить задачу, типа прокликать все 72 варианта, получить код и спарсить - над этим и бился месяц))) - есть ли смысл работать в этом направлении, как думаете?
    Но ваш вариант тоже имеет место быть. Ссылки вообще можно попробовать сгенерировать в экселе.
     
  4. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Все проще, чем может казаться.

    Проект файла приложил.
    В нем - обрабатываете ваши ссылки (подправите границы парсинга по необходимости)
    После, берете обработанный файл, делаете по этой инструкции: Ссылки недоступны для гостей
    Сначала обрабатываете цвет, потом стекло
    upload_2020-11-25_22-51-58.png
    upload_2020-11-25_22-54-26.png
    upload_2020-11-25_22-56-27.png
    По итогу, дописывая в каждую из них нужные слова с помощью функции "Добавить текст" в дополнительных функциях обработки ячеек, получаем каждый вариант ссылки.
    Получаем что-то типа такого для каждого варианта цвета
    Создаёте второй проект, загоняете в него готовые ссылки и обрабатываете данные.
     

    Вложения:

    Sm0ll нравится это.
  5. Sm0ll

    Sm0ll New Member Пользователи

    Регистрация:
    25 ноя 2020
    Сообщения:
    5
    Город:
    Саратов
    Большое спасибо за помощь. Завтра позанимаюсь вопросом.
     
  6. Sm0ll

    Sm0ll New Member Пользователи

    Регистрация:
    25 ноя 2020
    Сообщения:
    5
    Город:
    Саратов
    Все получается, единственно наверное последний вопрос. Объединить эти три столбца лучше в Экселе, или можно в программе CD? в редакторе CSV файлов не нашел такой возможности.
    В любом случае очень благодарен за помощь
     

    Вложения:

    • 123.jpg
      123.jpg
      Размер файла:
      265,1 КБ
      Просмотров:
      2
  7. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Можно в редакторе CSV
    upload_2020-11-26_13-47-49.png

    Up: под те костыли, о которых я говорил, в последнем (сегодняшнем, от 26.11) обновлении добавили новый макрос - Ссылки недоступны для гостей
    Теперь, видимо, можно напрямую при парсинге создавать несколько вариантов товара
     
    Последнее редактирование: 26 ноя 2020
  8. Sm0ll

    Sm0ll New Member Пользователи

    Регистрация:
    25 ноя 2020
    Сообщения:
    5
    Город:
    Саратов
    Отлично!
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

     

    Вложения:

    Sm0ll нравится это.

Поделиться этой страницей