В куках ли дело? Достала антикапча гугла

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем QuZ, 8 июл 2017.

  1. QuZ

    QuZ New Member Пользователи

    Регистрация:
    28 янв 2012
    Сообщения:
    32
    Добрый вечер. Какая-то не совсем понятная для меня ситуация просходит с одним сайтом. Предоставляю куки в проект из браузера, чтобы пройти антикапчу, юзерагенты совпадают. Пробую сделать загрузку страници в даунлоадере, с первой же попытки говорит, что я бот. Захожу на этот же сайт через браузер - аналогичная ситуация - выберите картинки, подтвердите, что Вы не бот.., хоть куки в браузере остаются. Данные в этих куках не меняются. Может кто подсказать, в чем может быть проблема?
    Выкладываю проект. Сразу скажу, что делал его быстро, есть топорные решения, не судите строго.

    Спасибо.
     

    Вложения:

    • cu.cdp
      Размер файла:
      87,4 КБ
      Просмотров:
      3
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    У меня загружается сразу (без манипуляций). Думаю, дело еще и в IP. Купите список хороших прокси.
     
  3. QuZ

    QuZ New Member Пользователи

    Регистрация:
    28 янв 2012
    Сообщения:
    32
    Не часто в последнее время использую софт, больше для друзей-знакомых. Утром запустил в 50-т потоков сразу, около 100 шт. сохранилось, а дальше стал мне выносить мозг. Прокси взял халявные, ни одна не прогрузила сайт)).

    Тут больше вопрос в том, что через браузер работает, а как только в контентдаунлоадере жму загрузку - все выкидывает сразу капчу. Хочу в этом вопросе разобраться, чтобы такие моменты в дальнейшем не останавливали.
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    в 50 потоков гугл)) в 1 и с паузой, антикапчу все равно будет давать. Все халявные прокси в бане оказываются очень быстро.
    а по поводу второго. Загружалось в контенте и в браузере с одного и того же айпи? Скорее всего нет, так как гугл банит по айпишнику.
     
  5. QuZ

    QuZ New Member Пользователи

    Регистрация:
    28 янв 2012
    Сообщения:
    32
    Не гугол я парсил) Это гребаная антикапча от гугла мне мозги выносит. Прошелся по сайту сканером, все гладко прошло, без вопросов. Решил и за пару минут все вопросы по сайту снять. Куки подсовывал с одного и того-же айпишника и с одного и того-же компа. Сайт забугорный, прокси с рускоязычного сайта. Но через прокси данный сайт из 200-300 попыток ни разу не открылся. Да, предположу, прокси никчемные. Можно пойти, купить прокси, скачать 600 позиций, но как-то хочется разобраться с капчами на уровне куков.
    Спасибо.
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Мы тут периодически в таких случаях рекомендуем хорошие прокси не позрачные.
    Лучше всего когда сайт можно парсить без обработки DOM, что позволит использовать SOCKS прокси.
     
    Kreol нравится это.

Поделиться этой страницей