Парсинг сайта с защитой prom.ua

Тема в разделе "Парсинг конкретных сайтов (ПЛАТНО)", создана пользователем kolo555, 4 авг 2017.

Статус темы:
Закрыта.
  1. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    74
    Добрый день!
    Хочу спарсить auto-mechanic.com.ua на платформе prom.ua
    Ссылки собрал, прокси подготовил, тайм-аут установил 12000, но при задании границ парсинга появляется ошибка "Программе не удалось загрузить WEB-страницу (HTTP/1.1 429 Too Many Requests)"
    Подскажите, пожалуйста![​IMG]
     

    Вложения:

    • Снимок.JPG
      Снимок.JPG
      Размер файла:
      105,8 КБ
      Просмотров:
      172
  2. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    275
    Добрый день!

    Пром.уа звереет. У меня при открытии сайта Хромом сразу капча вылезла. При задании границ парсинга нажмите кнопку Включите выполнение скриптов в браузере. Сразу увидите капчу. Вероятно, помогут хорошие соксы. И не забудьте в настройках прокси поставить галочку в пункте Использовать прокси при парсинге контента и в окне задания гграниц парсинга.
     
  3. Diabet

    Diabet Member Пользователи

    Регистрация:
    12 фев 2012
    Сообщения:
    95
    пром закрутил гайки конкретно уже давно
     
    Kreol нравится это.
  4. ogogo

    ogogo New Member Пользователи

    Регистрация:
    10 ноя 2015
    Сообщения:
    16
    все с промом ок - прокси пользуйте свежие. парсится во все 50 потоков на ура.
     
    Root нравится это.
  5. egorf7

    egorf7 New Member Пользователи

    Регистрация:
    21 фев 2017
    Сообщения:
    1
    То же сообщение было. Отключился от домашнего интернета. Через телефон все норм.
    Решением стал динамический айпи
     
  6. Pasmore

    Pasmore New Member Пользователи

    Регистрация:
    10 авг 2017
    Сообщения:
    4
    Город:
    Киев
    С пром - ом какаето х-ь происходит. Собрал ссылки, настроил границы, проверил выборочно - все четко работает. Спарсил. Вместо 450 строк спарсило 240. Перепарсил стало 130 строк. Полез смотреть, через одну ссылку выдает Загрузка WEB-документа не удалась (HTTP/1.1 429 Too Many Requests)! На следующий день через парсер - окно задания границ парсинга, на все ссылки выпадает капча, через браузер Chrom, ни какой капчи. Хочу парсить цены на регулярной основе у конкурентов. Как это обойти?
     
  7. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    157
    покупкой прокси
     
    Kreol нравится это.
  8. Pasmore

    Pasmore New Member Пользователи

    Регистрация:
    10 авг 2017
    Сообщения:
    4
    Город:
    Киев
    Где купить? Что посоветуете? OTE="Dron25, post: 34489, member: 2738"]покупкой прокси[/QUOTE]
    Где
     
  9. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    157
    я брал здесь
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 2 постов.**
    берете пакет 70шт, мне помогали на проме против капчи, парсил 40-60 тыс товаров
     
  10. Pasmore

    Pasmore New Member Пользователи

    Регистрация:
    10 авг 2017
    Сообщения:
    4
    Город:
    Киев
    E="Dron25, post: 34494, member: 2738"]я брал здесь
    *Скрытый_текст*
    берете пакет 70шт, мне помогали на проме против капчи, парсил 40-60 тыс товаров[/QUOTE]
    Благодарю.
    Благодарю. Буду пробывать. Конкретно эту задачу с 450 строками решил по совету выше из форума. Подключился зерез 3G в 1 поток с задержкой в 1200 мс, получилось спарсить. 30 мин парсил чисто текст без картинок.
     
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.299
    Перезапустив роутер можно получить новый ип, пробуйте. (считай бесплатная 1 прокси)
     
  12. ogogo

    ogogo New Member Пользователи

    Регистрация:
    10 ноя 2015
    Сообщения:
    16
    если в процессе все же заблочит, останавливаем проект, передаем новые куки (ведя каптчу) и ставим заново. Если не с первого - то со второго раза всегда идет нормально. Весь проект в разумных пределах до 20-30 тыс страниц - делаю одним запуском.


    прокси качаю на том же авмпрокси.
     

    Вложения:

    • promprs.png
      promprs.png
      Размер файла:
      151,9 КБ
      Просмотров:
      22
    Pasmore нравится это.
  13. wolf329

    wolf329 New Member Пользователи

    Регистрация:
    4 окт 2018
    Сообщения:
    3
    Город:
    Дніпро
    Приветствую участников форума. Никак не удается победить ошибку: "Программе не удалось загрузить WEB-страницу (HTTP/1.1 429 Too Many Requests)". Работаю c сайтами на prom.ua. Интернет с динамическим ip. Подключаюсь к телефону - все ок!
    В окне просит ввести капчу, изображенной на картинке, но картинки нет.
    Прошу помощи. Как победить это?
    Заранее спасибо.

    2.jpg 1.jpg
     
  14. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.299
    Обойти каптчу при парсинге prom.ua возможно только используя хорошие proxy в количестве более 100 штук.
    Proxy - платные, самостоятельно позаботиться надо где приобрести.
     
    Root, Kreol и Pasmore нравится это.
Статус темы:
Закрыта.

Поделиться этой страницей