Какой метод сбора характеристик

Тема в разделе "Решение различных задач по парсингу", создана пользователем Grafin, 12 июл 2019.

  1. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Доброе утро.
    Не смог понять каким образом собирать характеристики к товарам.
    В карточке товара их нет.
    Какточки товаров сортируются предварительно фильтром характеристик.
    Посмотрел, что при выборе отпреленного значения характеристики урл меняется.
    Пытался сканером собрать такие ссылки по одному из значений фильтра, ничего не нашел. Они похоже формируются уже при работе фильтра. Да и это только по одной характеристике.
    Подскажите, каким методом это делать?
    Ссылка на одну из категорий
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
  2. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    487
    Город:
    Мордор
    Ну в карточке товара нет ничего из характеристики : view-source:http://bg2001.ru/catalog/categories/4388/item/23683?ajax=1

    Из того что пришло в голову,

    1) собрать data-value_id из левого меню по всем страницам

    <input type="checkbox" name="звено" data-value_id="3840948"/>
    <span>5-11 классы</span>
    Взять юрл категории
    Сделать словарь filter/value - [l]3840948|[n]звено[/n][v]5-11 классы[/v][/l] ИЛИ
    Сделать суррогатные ссылки : Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! [PARAM]:[l]3840948|[n]звено[/n][v]5-11 классы[/v][/l]

    2) Собрать с суррогатных ссылок все item ID + словарем filter/value к каждому item ID приписать value. Или дернуть из [REPLACE] из [PARAM] getом [l]{get}[/l]|{get} , на выбор как привычнее.
    Получится таблица в которой каждому item ID приписано множество value

    3) Объединить для всех item ID , value как нужно (тут надо понимать в каком виде он должен быть записан для импорта в свою базу данных) Я объединяю средствами EXCEL либо PHP за счет перезаписи массивов)
    4) Импортировать в базу или объеденить с главными данными с карточки через ключевое значение item ID

    Надеюсь понятен смысл действий.

    Или попросить у поставщика эксель прайс лист, и если там есть параметры нужные - его можно объеденить с данными с сайта по
    <p>Артикул: <strong>АР4гр20 7393</strong></p>
    <p>Код: <strong>23683</strong></p>
    <p>Штрих-код: <strong>4690326205867</strong></p>
     
    Последнее редактирование: 12 июл 2019
    kagorec и Root нравится это.
  3. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    "Надеюсь понятен смысл действий."
    Ох зря вы так в меня верите ))) я такое еще нигде не делал, потому в тупике. Прочел несколько раз. Но за позитив спасибо

    "Или попросить у поставщика эксель прайс лист, и если там есть параметры нужные - его можно объеденить с данными с сайта по
    <p>Артикул: <strong>АР4гр20 7393</strong></p>
    <p>Код: <strong>23683</strong></p>
    <p>Штрих-код: <strong>4690326205867</strong></p>[/QUOTE]"
    Уже проверено - нет характеристик.

    Обратил внимание, что data-value_id подставляются в урл после выбора, карточки сортируются.
    Но как именно собрать data-value_id относящиеся к конкретным карточкам не понимаю все же. Пойду поем орехи...
    А может кто еще возможную альтернативу подскажет
    upload_2019-7-12_22-26-26.png

    Либо как вариант взять каждый урл категории, на странице есть в фильтре есть несколько групп характеристик на скрине этой категории из пять
    upload_2019-7-12_22-51-34.png
    а далее собрать все data-value_id из каждой группы и сформировать варианты урл с учетом выбранных data-value_id в группах.
    А дальше собирать урл на карточки в сформированных урл с учетом вариантов фильтра.
    Где-то могут быть вообще несуществующие варианты.
    В общем это не быстро и объемно....
     
    Последнее редактирование: 12 июл 2019
  4. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    487
    Город:
    Мордор
    Если еще похожего не делали никогда, то лучше для примера закажите платный проект у ребят, тут на форуме с объяснениями, я в начале так и делал.
    Самому очень сложно без опыта такие замороченные вещи решать.
    Быстрее и дешевле когда человек с опытом сделает правильный алгоритм и объяснит как он работает:
    Вот тут ребята, которые оказывают платные услуги : Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
    Последнее редактирование: 13 июл 2019
  5. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    487
    Город:
    Мордор
    Сделайте пункт первый из моего объяснения ОТДЕЛЬНЫМ ПРОЕКТОМ CD
    Просто соберите сканером все ссылки на категории.
    И распарсите циклической границей левое меню с фильтрами, таким образом вы получите data-value_id для генерации ссылок в которой подставите только ОДНО data-value_id.

    Вставьте эти сгенерированные ссылки в новый проект CD, по этим ссылкам будут показаны товары, которые присущи этому data-value_id. По результату у Вас получится таблица в которой указано, к каким товарам, какие data-value_id применимы, и какие у этих data-value_id имена и значения.

    Так у Вас получится таблица характеристик, которую можно связать с основными данными из карточки товара
     
    Root нравится это.
  6. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    487
    Город:
    Мордор
    Ну вот я за десять минут, со страшного перепоя, с больным мозгом ))) , сделал пример как работает первая часть моей идеи,

    Получившиеся ссылки в следующем этапе проекта разбирайте так = [REPLACE([name]{get}[/name]|{get})][PARAM][/REPLACE]
     

    Вложения:

    • bg2001_ru.cdp
      Размер файла:
      85 КБ
      Просмотров:
      0
    Root нравится это.
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.651
    Город:
    Riga
    Опций в фильтрах немного. Надо по очереди отмечать по одной и собирать ссылки товаров записывая название опции в csv. После как получили документ в котором одна колонка это ссылка товара, а остальные это опции, надо объединить строки документа. В конце ссылки для PARAM указать набор опций которые есть.
     
    Root и Djahat нравится это.
  8. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    487
    Город:
    Мордор
    Интересно, я так никогда не делал, не очень понимаю как заголовок группы опций собрать при этом, если будет время, короткий пример, был бы очень полезен для понимания.
     
    Root нравится это.

Поделиться этой страницей