Парсинг olx.ua

Тема в разделе "Решения по парсингу популярных сайтов", создана пользователем Doronik, 27 янв 2019.

Страница 1 из 2
  1. Doronik

    Doronik New Member Пользователи

    Регистрация:
    27 янв 2019
    Сообщения:
    3
    Город:
    Киев
    При задании границ парсинга не загружает код, выдает такую ошибку (
    Программе не удалось загрузить WEB-страницу (Error connecting with SSL. Error connecting with SSL. error:1408F10B:SSL routines:SSL3_GET_RECORD:wrong version number).
    Подскажите, как парсить с Olx.ua?
     
    Doronik, 27 янв 2019
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
    Root, 28 янв 2019
    #2
  3. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    55
    подскажите при срабатывании WBApp для раскрытия номера, при выполнении [CLICK][classname][N]0[/N][FULL]:xx-large просто в окне происходит перезагрука страницы и соответсвенно ничего не раскрывается... прикрепляю проект + wbapp файл.. и странно первые 37 записей парсит нормально номера, а дальше просто не открывает... парсим каждый месяц, для работы, такое произошло только с этого месяца((( до этого все стабильно работало!
     

    Вложения:

    • olx_ua.cdp
      Размер файла:
      945 КБ
      Просмотров:
      18
    • OLX.wbapp
      Размер файла:
      651 байт
      Просмотров:
      16
    vipsite, 2 мар 2019
    #3
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Может там какое ограничение ввели на количество показов номеров для каждого IP. Скорее всего тут хорошие анонимные прокси помогут.
     
    Root, 2 мар 2019
    #4
  5. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    55
    та в том то и дело, что нет ограничений... все парситься, но номера первые 35-37 открывает, а после не проходит.. а у вас мой проект так же, или не смотрели?
     
    vipsite, 2 мар 2019
    #5
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Бан временный, не сразу, а после, как видите, 30+ показов. Нет, не смотрел. Зачем мне это делать.
     
    Последнее редактирование: 2 мар 2019
    Root, 2 мар 2019
    #6
  7. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    55
    просто думал, может из-за версии.. так как давненько не обновлял свою версию..(
     
    vipsite, 2 мар 2019
    #7
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Популярные сайты иногда прибегают к улучшению защиты от автоматических запросов. Один из вариантов - лимитирование показа контактных данных для каждого IP. Еще раз отмечу, что тут помочь должны анонимные прокси.
     
    Root, 2 мар 2019
    #8
  9. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    55
    ok, спасибо! буду пробовать...
     
    vipsite, 2 мар 2019
    #9
    Root нравится это.
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Берите прокси без логина и пароля (с привязкой к IP). В модуль IE пока только такие вставляются.
     
    Root, 2 мар 2019
    #10
  11. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    55
    может есть где рабочий список найти? а то их полно в инете, но в основном они все уже не актуальные(
     
    vipsite, 2 мар 2019
    #11
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В источниках прокси я некомпетентен. Возможно, Kagorec подскажет.
     
    Root, 3 мар 2019
    #12
  13. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    На данный момент именно январь\февраль 2019-го было замечено что olx.ua уже не поддается нормальному парсингу в CD. Настроить получается и распарсить несколько объявлений (с телефоном), далее идут сплошные блокировки. Защита такая, что не помогают любые proxy и списки UserAgent.

    Предполагаю что olx начал использовать fingerprint который запросто вычисляет парсинг.
    Подробнее:
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
     
    Последнее редактирование: 3 мар 2019
    kagorec, 3 мар 2019
    #13
    Root нравится это.
  14. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    55
    Эх... я так и понял... жаль конечно(( а может попробовать через мобильную версию?
     
    vipsite, 3 мар 2019
    #14
  15. asketus

    asketus Member Пользователи

    Регистрация:
    2 июл 2014
    Сообщения:
    60
    да, господа, проходит олх мимо нас (( и этопечально
     
    asketus, 20 мар 2019
    #15
  16. pagemaster

    pagemaster New Member Пользователи

    Регистрация:
    15 янв 2015
    Сообщения:
    43
    По OLX есть какие то изменения? Получилось у кого то парсить?
     
    pagemaster, 9 сен 2019
    #16
  17. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    55
    у меня получалось, но ооочень-очень долго... и то не всегда, я перешел на БЕСПЛАТКУ...
     
    vipsite, 11 сен 2019
    #17
  18. pagemaster

    pagemaster New Member Пользователи

    Регистрация:
    15 янв 2015
    Сообщения:
    43
    на бесплатке всё проще? с какой скоростью удается парсить? через WEBApp номер получаете или через POST запрос?
     
    pagemaster, 12 сен 2019
    #18
  19. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    55
    не особо быстро, через WEBApp
     
    vipsite, 12 сен 2019
    #19
  20. vipsite

    vipsite Member Пользователи

    Регистрация:
    22 июл 2017
    Сообщения:
    55
    ставлю в 1 поток + прокси, больше ставишь... банят
     
    vipsite, 12 сен 2019
    #20
Страница 1 из 2
Similar Threads
  1. Grafin

    Парсинг описания

    Grafin, 14 дек 2018, в разделе: Решение различных задач по парсингу
    Ответов:
    10
    Просмотров:
    710
    Kreol
    16 дек 2018
  2. Grafin

    Парсинг картинок повторяющимися границами

    Grafin, 23 апр 2019, в разделе: Скачивание картинок и файлов
    Ответов:
    6
    Просмотров:
    591
    Grafin
    26 апр 2019
  3. Grafin

    Парсинг выбранных Бренд/категории с крупного сайта

    Grafin, 24 июн 2019, в разделе: Решение различных задач по парсингу
    Ответов:
    7
    Просмотров:
    751
    Root
    25 июн 2019
  4. svobodin

    Парсинг сайта calend.ru

    svobodin, 7 авг 2019, в разделе: Решения по парсингу популярных сайтов
    Ответов:
    11
    Просмотров:
    944
    Djahat
    7 авг 2019
  5. ergoline

    Парсинг категорий каталога

    ergoline, 13 авг 2019, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    0
    Просмотров:
    510
    ergoline
    13 авг 2019
Загрузка...

Поделиться этой страницей