Кнопка "Я не робот" на сайте

Тема в разделе "Решение различных задач по парсингу", создана пользователем Maxxx, 18 июн 2020.

  1. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    113
    Здравствуйте. Через 10-15 загруженных страниц на сайте выпадает эта кнопка. Это не капча, а просто кнопка, при нажатии на которую парсинг продолжится, но еще на 10 страниц. Можно ли как-то автоматизировать это нажатие? И как это сделать, чтобы оно свершалось только при появлении этой страницы?
    Пока я только делаю остановку парсинга при пустой границе, на этом все и останавливается.
    Прокси вообще не помогают, при их использовании страница не грузится.

    Один поток, пауза 5000-8000
     

    Вложения:

  2. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Здравствуйте. Смотрите в сетевом мониторе какой запрос отправляется сайту при нажатии этой кнопки, проверяйте наличие этой кнопки макросом checkentry и при появлении отправляйте пост запрос макросом php_script или getmorecontent.
     
    Maxxx и inotoxic нравится это.
  3. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    113
    Ок, спасибо. Но а если это не просто кнопка, а Invisible reCAPTCHA? Сейчас эта проблема посредством CD не решаема?
     
  4. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Если бы это была invisible recaptcha, она бы выполняла проверку пользователя в фоновом режиме без флажка я не робот. v2,v3,FunCaptcha,hcaptha можно решить через api antigate или rucaptcha.
     

    Вложения:

    • recaptcha2.cdp
      Размер файла:
      43,8 КБ
      Просмотров:
      23
    Последнее редактирование: 19 июн 2020
    dimochkaorg и Maxxx нравится это.
  5. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    113
    Спасибо за проект, но все же похоже, что это она. Кнопку "Я не робот"видимо уже они уже прикрутили сами.
    Сайт Ссылки недоступны для гостей
    Делаете 15 раз F5 в браузере (обновить) и вылетает эта кнопка ))
     

    Вложения:

    • invis.jpg
      invis.jpg
      Размер файла:
      6,3 КБ
      Просмотров:
      7
  6. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Тогда через api решайте
     
    Maxxx нравится это.
  7. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    113
    Скажите, есть ли хотя бы какой-то способ, чтобы при парсинге не считалась страница успешно спарсеной при count в логе < какого-то числа ? А то пропускает так страницы.
     

    Вложения:

    • Count.jpg
      Count.jpg
      Размер файла:
      80,9 КБ
      Просмотров:
      8
  8. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    назначьте обязательную границу и Ссылки недоступны для гостей так же поставьте количество попыток загрузки страницы какое вам нужно
     
    Maxxx нравится это.
  9. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    113
    Спасибо большое kenny872012 за ответы!
     

Поделиться этой страницей