Парсинг сайта строительных материалов Леруа Мерлен

Тема в разделе "Готовые проекты от энтузиастов", создана пользователем Achronis, 7 авг 2020.

Страница 1 из 2
  1. Achronis

    Achronis Well-Known Member Пользователи

    Регистрация:
    30 июл 2020
    Сообщения:
    64
    Город:
    Барнаул
    Требуется тип лицензии ULTIMATE (для выполнения действий на web страницах в браузере)

    Для сбора ссылок на товары: переходим во вкладку "Cсылки" и добавляем в шаблон генерации списка ссылок, ссылку на интересующую нас рубрику, например, саморезы. Ссылки недоступны для гостей

    После этого запускаем сбор ссылок (F5)
    После сбора ссылок переходим во вкладку "Контент" и запускаем парсинг товаров (F5)
    И получаем примерно такой результат

    2020-08-07_10-56-16.png
     

    Вложения:

    • Leroy.cdp
      Размер файла:
      58,5 КБ
      Просмотров:
      74
    Achronis, 7 авг 2020
    #1
  2. Andrey2021

    Andrey2021 New Member Пользователи

    Регистрация:
    21 фев 2021
    Сообщения:
    2
    help.jpg привет, спасибо за шаблон, все сделал ... и по москве даже могу количество и магазины собирать, но вот столкнулся с спб, к примеру вот ссылка Ссылки недоступны для гостей подскажи где найти решение, чтобы найти этот код, всю голову себе сломал, в фаирфоксе смотрел, нифига не понял ... у меня там 517 тыщ товаров ...надо собрать, а вот наличие я не смог (
    спасибо заранее !
     
    Andrey2021, 10 сен 2021
    #2
    miromiro1 нравится это.
  3. Magvai1985

    Magvai1985 New Member Пользователи

    Регистрация:
    16 апр 2021
    Сообщения:
    1
    Город:
    Самара
    Привет. Ты нашёл ответ на свой вопрос? Тоже очень нужна эта информация
     
    Magvai1985, 1 ноя 2021
    #3
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вот проект с настроенной подгрузкой остатков в магазинах.

    Если потребуется что-то пояснить, пишите.
     

    Вложения:

    Root, 1 ноя 2021
    #4
  5. waiper

    waiper New Member Пользователи

    Регистрация:
    28 апр 2021
    Сообщения:
    15
    Город:
    moygorod
    Добрый день!

    Помогите пожалуйста, леруа поменяли код пару дней назад, остатки вытащить не удается, js сплошной.

    Посоветуйте способ пожалуйста, как их теперь вытащить.

    В вашем проекте понятно, но апи ключ как получить(
     
    waiper, 3 мар 2022
    #5
  6. Amigo1985

    Amigo1985 New Member Пользователи

    Регистрация:
    1 июн 2020
    Сообщения:
    7
    Город:
    Санкт-Петербург
    Здравствуйте!
    Интересует та же проблема! Подскажите, как решить проблему?
     
    Amigo1985, 3 мар 2022
    #6
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Остатки есть в коде страницы у товаров.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Root, 3 мар 2022
    #7
  8. Amigo1985

    Amigo1985 New Member Пользователи

    Регистрация:
    1 июн 2020
    Сообщения:
    7
    Город:
    Санкт-Петербург
    Насколько я понял остатки товаров передаются через контейнер json по адресу Ссылки недоступны для гостей, но вот как подгрузить эти данные, пока не понимаю
    Ранее пользовался файлом.
    Изменил нахождение артикула, и ссылку но почему-то не выдает данные...
     

    Вложения:

    Amigo1985, 4 мар 2022
    #8
  9. Amigo1985

    Amigo1985 New Member Пользователи

    Регистрация:
    1 июн 2020
    Сообщения:
    7
    Город:
    Санкт-Петербург
    Прошу прощения, что дублирую свои вопросы.
     
    Amigo1985, 4 мар 2022
    #9
  10. Amigo1985

    Amigo1985 New Member Пользователи

    Регистрация:
    1 июн 2020
    Сообщения:
    7
    Город:
    Санкт-Петербург
    Извините, за мою настойчивость.
    Но не могу найти данные об остатках в коде страницы через назначение границ парсинга. Может я не правильно понял про какой код идет речь? Или надо обновить программу?
     
    Amigo1985, 4 мар 2022
    #10
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Как оказалось, на некоторых товарах в коде нет данных по остаткам.

    Настроил проект WBAppCEF3 для подгрузки остатков.

    Осталось задать границы парсинга. Данные в коде теперь есть.

    Также необходимо иметь актуальную версию программы, чтобы проект работал.
     

    Вложения:

    Root, 4 мар 2022
    #11
  12. waiper

    waiper New Member Пользователи

    Регистрация:
    28 апр 2021
    Сообщения:
    15
    Город:
    moygorod
    Можете пожалуйста проверить второй день при переходе по любой ссылке выдает "Программе не удалось загрузить WEB-страницу (HTTP/1.1 401 Unauthorized)"
    Пример Ссылки недоступны для гостей

    Попробовал создать пустой проект тоже самое, что с прокси что без него.

    Максимально что удается получить:

    <!DOCTYPE html><html><head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8">

    <meta name="referrer" content="no-referrer">
    <script src="/__qrator/qauth_utm_v2.js"></script>

    </head>
    <body>


    </body></html>
     
    Последнее редактирование: 27 мар 2022
    waiper, 26 мар 2022
    #12
  13. nikolay777

    nikolay777 New Member Пользователи

    Регистрация:
    18 апр 2022
    Сообщения:
    1
    Город:
    Санкт-Петербург
    Здравствуйте, такая же проблема с qrator. Не понятно как решить.
    Удалось вычислить, что чтобы запрос проходил - нужно передать юзер-агента и три токена qrator (qrator_jsr, qrator_jsid, qrator_ssid) через куки.
    Но как их получить - не понятно. Чтобы выяснить - я просто вытащил через средства разработчика и подставил в запрос.
     
    nikolay777, 18 апр 2022
    #13
  14. admigram

    admigram New Member Пользователи

    Регистрация:
    17 апр 2022
    Сообщения:
    1
    Город:
    Москва
    присоединяюсь к вопросу
     
    admigram, 24 апр 2022
    #14
  15. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    На каких сайтах встречается данная защита - ссылку можете предоставить ?
     
    inotoxic, 25 апр 2022
    #15
  16. Togo

    Togo New Member Пользователи

    Регистрация:
    28 апр 2022
    Сообщения:
    1
    leroymerlin.ru
     
    Togo, 29 апр 2022
    #16
  17. waiper

    waiper New Member Пользователи

    Регистрация:
    28 апр 2021
    Сообщения:
    15
    Город:
    moygorod
    У кого есть возможность проверить 2 дня назад словил qrator/qauth_utm_v2.js, не удаётся не как победить, смена компа, новый проект не решают проблему.

    Подскажите кто может уже разгадал тайну.
     
    waiper, 24 янв 2023
    #17
  18. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    На каком сайте ?
     
    inotoxic, 24 янв 2023
    #18
  19. waiper

    waiper New Member Пользователи

    Регистрация:
    28 апр 2021
    Сообщения:
    15
    Город:
    moygorod
    пример ссылки Ссылки недоступны для гостей буду очень благодарен
     
    waiper, 25 янв 2023
    #19
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Тоже вопрос актуальный.

    Только на Леруа запрос проверки браузера отправляется не по вышеуказанной ссылке, а по адресу:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    С кучей параметров и большим массивом POST данных.

    Различия есть и в заголовках.

    Что отправляет Firefox
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Что отправляет компонент браузера Chromium (пробовал на разных версиях)
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Видно, что в Chromium куки короче и не хватает некоторых заголовков типа
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Попробую принудительно добавить заголовки для запроса к этому адресу.

    Также есть различия и в POST данных (хотя POST данные, по идее, должны быть одинаковые).
     
    Root, 25 янв 2023
    #20
Страница 1 из 2
Similar Threads
  1. CSTC

    Проблема с парсингом Леруа мерлен

    CSTC, 26 окт 2018, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    0
    Просмотров:
    913
    CSTC
    26 окт 2018
  2. Grafin

    Парсинг сайта

    Grafin, 26 ноя 2018, в разделе: Решение различных задач по парсингу
    Ответов:
    6
    Просмотров:
    610
    Grafin
    26 ноя 2018
  3. Grafin

    Парсинг выбранных Бренд/категории с крупного сайта

    Grafin, 24 июн 2019, в разделе: Решение различных задач по парсингу
    Ответов:
    7
    Просмотров:
    748
    Root
    25 июн 2019
  4. German

    Парсинг off line сайта.

    German, 21 авг 2019, в разделе: Решение различных задач по парсингу
    Ответов:
    2
    Просмотров:
    372
    German
    21 авг 2019
  5. zyzy

    Парсинг ссылок с рубрики сайта (парсинг материалов по тегам)

    zyzy, 9 авг 2020, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    1
    Просмотров:
    302
    Root
    9 авг 2020
Загрузка...

Поделиться этой страницей