Парсинг цен с сайта хотлайн (hotline.ua)

Тема в разделе "Решение различных задач по парсингу", создана пользователем Aleksey746, 11 сен 2018.

Статус темы:
Закрыта.
  1. Aleksey746

    Aleksey746 Member Пользователи

    Регистрация:
    10 сен 2018
    Сообщения:
    46
    Добрый день.
    Настроил парсер для сбор цен с каждой карточки товара с площадки hotline.ua но к сожалению не получается победить.
    Через какое то время выводит reCAPTCHA
    После этого парсер перестаёт собирать цены.
    Пробовал в один поток но к сожалению тогда парсинг займет очень много времени....(всего +-2000 страниц)
     

    Вложения:

    lokdog666 нравится это.
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Покачто разгадывание новой recaptcha - решений нету.
    При парсинге hotline достаточно пройти каптчу в любом другом броузере и парс продолжится.
    В проекте можете добавить проверку на каптчу чтоб парсинг приостанавливало при появлении каптчи - это в Ctrl+u

    [​IMG]
     
  3. Aleksey746

    Aleksey746 Member Пользователи

    Регистрация:
    10 сен 2018
    Сообщения:
    46
    Данный метод почему то не помог, программа продолжила парсить даже после того как сайт запросил капчу
    Что я мог сделать не так?
    У хотлайн капча выводится так (файл "безымянный 2")
     

    Вложения:

    Последнее редактирование: 11 сен 2018
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Стоит указать номер границы, например наименование товара, если не спарсило тогда каптча там.
     
  5. Aleksey746

    Aleksey746 Member Пользователи

    Регистрация:
    10 сен 2018
    Сообщения:
    46
    Позволил решить данную проблему данный метод (ручной)
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 2 постов.**
    Тему можно закрывать :)
     
    kagorec нравится это.
Статус темы:
Закрыта.

Поделиться этой страницей