Парсинг заскриптованых дополнительных фото товара

Тема в разделе "Решение различных задач по парсингу", создана пользователем avngroup, 17 июл 2019.

  1. avngroup

    avngroup New Member Пользователи

    Регистрация:
    19 мар 2018
    Сообщения:
    23
    Город:
    Уфа
    Добрый день! Мне нужно скачать все дополнительные фото товаров и разложить их по папкам.
    Ссылки недоступны для гостей
    Скрин: Ссылки недоступны для гостейо вложении
    Скажите, пожалуйста, как спарсить дополнительные фото товара?
    готов заплатить за данную настройку
    Спасибо большое за любой совет!
     

    Вложения:

  2. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор

    Привет

    тут два варианта, из за того что доп фотографии подключаются при нажатии кнопки на странице:

    1) Парсить при помощи WBAPP - кликая кнопку подгрузить доп картинки.
    [CLICK][href][N]0[/N][FULL]:Ссылки недоступны для гостей
    [WAIT]:2000

    2) Вариант это
    бросать POSTом на Request URL: Ссылки недоступны для гостей , параметр товара - symbol: (например как в указанной вами ссылке symbol: ALTA-DS2-15005) , и получать код с картинками в ответе.


    Первого варианта, должно хватить.

    А платная помощь от профессионалов по CD - тут Ссылки недоступны для гостей
     
    avngroup нравится это.
  3. avngroup

    avngroup New Member Пользователи

    Регистрация:
    19 мар 2018
    Сообщения:
    23
    Город:
    Уфа
    Вы можете помочь настроить?
     
  4. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Если немного то да .
    Киньте Ваш готовый проект - и укажите поле шаблона вывода, куда и как записать ссылки на картинки

    Если нужно оперативнее или проекта готового у Вас нет - попросите ребят тут, они недорого и быстро Вам сделают как надо - тут Ссылки недоступны для гостей
     
  5. avngroup

    avngroup New Member Пользователи

    Регистрация:
    19 мар 2018
    Сообщения:
    23
    Город:
    Уфа
    Вот проект
     

    Вложения:

    • tme1.cdp
      Размер файла:
      181,4 КБ
      Просмотров:
      1
  6. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Вот так это делается.

    пользуйся динамическими границами парсинга - если не хватает основных 20 шт !
     

    Вложения:

    • tme1_v_2.cdp
      Размер файла:
      182,9 КБ
      Просмотров:
      1
    • tme1_v_2.wbapp
      Размер файла:
      920 байт
      Просмотров:
      1
  7. avngroup

    avngroup New Member Пользователи

    Регистрация:
    19 мар 2018
    Сообщения:
    23
    Город:
    Уфа
    Во первых ,что я вам должен и куда отправить?)))
     

    Вложения:

  8. avngroup

    avngroup New Member Пользователи

    Регистрация:
    19 мар 2018
    Сообщения:
    23
    Город:
    Уфа
    и второй вопрос ,может вам будет интересно настроить нам еще один донор?
     
  9. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Ничего не надо, спасибо, я за так помогаю.
    Мои замечания к Вашему проекту под CSV_PRICE_PRO

    1) в _ID_ - только числовые значения.
    2) _PRICE_ , используйте округление [R0] или [R1] - <TOPRICE*1.4>[R0]<CD_GRAN_8!></TOPRICE>
    3) _SEO_KEYWORD_ - это ЧПУ , а не meta kw, так что там только латиница без пробелов может быть
    4) _PRODUCT_TAG_ - в базовых скриптах opencart это то, что будет передано в поиск, знаки # могут не дать сработать поиску
    5) _ATTRIBUTES_ - В этом поле - недопустимы никакие другие строки, кроме как в формате РАЗДЕЛ|ЗАГОЛОВОК|ЗНАЧЕНИЕ , иначе на импорте все закрашиться
    6) _FILTERS_ - там другой синтаксис смотрите мануал

    Лучше закажите у ребят пару платных проектов и посмотрите как делают их, так обучение быстрее пройдет.
     
  10. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Я просто таким не занимаюсь, тут есть специальные люди, они все сделают в лучшем виде -- тут Ссылки недоступны для гостей
     
  11. avngroup

    avngroup New Member Пользователи

    Регистрация:
    19 мар 2018
    Сообщения:
    23
    Город:
    Уфа
    спасибо вам огромное !!!
    не могли бы посмотреть как остальные картинки дёрнуть?
    Проект обязательно закажу у ребят которых вы порекомендовали.
    Этот как бы тоже за деньги заказал,но исполнитель не вывозит(
    пункт 1 и 3 просто не удалил ,они не нужны.
    по 2 пункту -это он округляеет до определенного знака я правильно понимаю?
    4 -подправим
    5 -вроде нормально записано грузил тест проблем вроде нет
    6-почитаю обязательно, в мануале по модулю импорта вообще ничего не сказано(будем искать
     
    Последнее редактирование: 17 июл 2019
  12. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    те что в блоке с 3d - в приложенном проекте.
    Принцип тот же:
    1) WBAPP - кликнули, получили код с картинками.
    2) В CD циклом разобрали полученный код.

    PS (пришлось убрать из Вашего проекта границы парсинга связанные с документом, так как не было свободных)

    Для простых границ парсинга, используйте динамические границы парсинга.

    Ну если так делают за деньги, не ходите на те площадки где заказали, сделали кашу, проект должен быть чист и лаконичен, иначе с ним жить не удобно будет дальше.

    Смотрите систему помощи, там сделано все по уму, все макросы со всеми параметрами расписаны от и до -
    Вот тут система помощи - Ссылки недоступны для гостей
     

    Вложения:

    • tme1_v_2.cdp
      Размер файла:
      182,9 КБ
      Просмотров:
      1
    • tme1_v_2.wbapp
      Размер файла:
      1 КБ
      Просмотров:
      2
    Последнее редактирование: 17 июл 2019
    avngroup нравится это.
  13. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    И по поводу мануала к CSV_PRICE_PRO
    Он тоже есть и очень подробный , вот тут


    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  14. avngroup

    avngroup New Member Пользователи

    Регистрация:
    19 мар 2018
    Сообщения:
    23
    Город:
    Уфа
    сейчас получается ,что у нас WBAPP два раза загружается?правильно я понимаю?
    И скорость будет вообще низкая?
    товаров достаточно много около 300к блин
     
  15. avngroup

    avngroup New Member Пользователи

    Регистрация:
    19 мар 2018
    Сообщения:
    23
    Город:
    Уфа
    смотрел там ,но про фильтр ничего нет вообще(
    На форуме у динокса перечитал ветку тоже люди спрашивали,но Костя хрен что ответил как обычно
     
  16. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Про Ctrl+e не забываем, там хоть сотни границ можно. Простым границам сложные зацепки с обработкой которые через поиск-замена.
     
  17. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Нет, WBAPP загружается один раз.
    300 к товаров, с нескольких машин можно запустить CD - с трех например или 6 , разделив между ними ссылки.
    Я сделал настройку WBAPP при которой он парсит быстрее, задержка всего 250мс, но у каждого товара по 10 картинок, на их загрузку время все равно потребуется.

    Ускорить проект можно за счет второго варианта реализации думаю
    2) Вариант это
    бросать POSTом на Request URL: Ссылки недоступны для гостей , параметр товара - symbol: (например как в указанной вами ссылке symbol: ALTA-DS2-15005) , и получать код с картинками в ответе.

    наверное но быстрее чем в 2 раза наверное все равно не получится

    Я бы просто разделил на много машин процесс парсинга.
     
  18. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Это да , только там циклическую пришлось убить )))) и в нее передавалась простая
     
  19. avngroup

    avngroup New Member Пользователи

    Регистрация:
    19 мар 2018
    Сообщения:
    23
    Город:
    Уфа
    да наверно так будет проще разделить на несколько компов
     
  20. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Ну в таком случае, в админке назначаем товару фильтры, и делаем экспорт через CSV_PRICE_PRO, и в экспортируемом файле, смотрим и понимаем синтаксис.
     

Поделиться этой страницей