Парсинг olx.ua

Тема в разделе "Решения по парсингу популярных сайтов", создана пользователем Doronik, 27 янв 2019.

  1. Doronik

    Doronik New Member Пользователи

    Регистрация:
    27 янв 2019
    Сообщения:
    1
    Город:
    Киев
    При задании границ парсинга не загружает код, выдает такую ошибку (
    Программе не удалось загрузить WEB-страницу (Error connecting with SSL. Error connecting with SSL. error:1408F10B:SSL routines:SSL3_GET_RECORD:wrong version number).
    Подскажите, как парсить с Olx.ua?
     
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.232
    Город:
    Сочи
  3. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    30
    подскажите при срабатывании WBApp для раскрытия номера, при выполнении [CLICK][classname][N]0[/N][FULL]:xx-large просто в окне происходит перезагрука страницы и соответсвенно ничего не раскрывается... прикрепляю проект + wbapp файл.. и странно первые 37 записей парсит нормально номера, а дальше просто не открывает... парсим каждый месяц, для работы, такое произошло только с этого месяца((( до этого все стабильно работало!
     

    Вложения:

    • olx_ua.cdp
      Размер файла:
      945 КБ
      Просмотров:
      0
    • OLX.wbapp
      Размер файла:
      651 байт
      Просмотров:
      0
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.232
    Город:
    Сочи
    Может там какое ограничение ввели на количество показов номеров для каждого IP. Скорее всего тут хорошие анонимные прокси помогут.
     
  5. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    30
    та в том то и дело, что нет ограничений... все парситься, но номера первые 35-37 открывает, а после не проходит.. а у вас мой проект так же, или не смотрели?
     
  6. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.232
    Город:
    Сочи
    Бан временный, не сразу, а после, как видите, 30+ показов. Нет, не смотрел. Зачем мне это делать.
     
    Последнее редактирование: 2 мар 2019
  7. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    30
    просто думал, может из-за версии.. так как давненько не обновлял свою версию..(
     
  8. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.232
    Город:
    Сочи
    Популярные сайты иногда прибегают к улучшению защиты от автоматических запросов. Один из вариантов - лимитирование показа контактных данных для каждого IP. Еще раз отмечу, что тут помочь должны анонимные прокси.
     
  9. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    30
    ok, спасибо! буду пробовать...
     
    Root нравится это.
  10. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.232
    Город:
    Сочи
    Берите прокси без логина и пароля (с привязкой к IP). В модуль IE пока только такие вставляются.
     
  11. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    30
    может есть где рабочий список найти? а то их полно в инете, но в основном они все уже не актуальные(
     
  12. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.232
    Город:
    Сочи
    В источниках прокси я некомпетентен. Возможно, Kagorec подскажет.
     
  13. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.391
    На данный момент именно январь\февраль 2019-го было замечено что olx.ua уже не поддается нормальному парсингу в CD. Настроить получается и распарсить несколько объявлений (с телефоном), далее идут сплошные блокировки. Защита такая, что не помогают любые proxy и списки UserAgent.

    Предполагаю что olx начал использовать fingerprint который запросто вычисляет парсинг.
    Подробнее:
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
    Последнее редактирование: 3 мар 2019
  14. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    30
    Эх... я так и понял... жаль конечно(( а может попробовать через мобильную версию?
     
  15. asketus

    asketus New Member Пользователи

    Регистрация:
    2 июл 2014
    Сообщения:
    24
    да, господа, проходит олх мимо нас (( и этопечально
     

Поделиться этой страницей