Парсинг realty.yandex.ru

Discussion in 'Решения по парсингу популярных сайтов' started by Konstantine, Mar 15, 2020.

Tags:
  1. Konstantine

    Konstantine Member Пользователи

    Joined:
    May 7, 2018
    Messages:
    33
    Доброго времени суток! Пытаюсь парсить страницы типа Ссылки недоступны для гостей , но что-то не получается. Постоянно вываливается капча, использование прокси не помогло. Иногда страница полностью блочиться - даже до капчи не загружается. Если у кого есть опыт парсинга таких страниц - прошу поделиться
     
    Konstantine, Mar 15, 2020
    #1
  2. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    При первом обращении по ссылке каптчи нет, значит прокси должны решить вопрос. Вопрос в количестве и "качестве" прокси.

    Выберите анонимные прокси. Паблик HTTP прокси не скрывают ваш IP.
     
    Root, Mar 15, 2020
    #2
  3. Konstantine

    Konstantine Member Пользователи

    Joined:
    May 7, 2018
    Messages:
    33
    Спасибо за совет. Правильно я понял, что подойдут любые(платные+надежные) анонимные HTTP/SOCKS прокси?
     
    Konstantine, Mar 15, 2020
    #3
  4. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Здравствуйте.
    Задавался временами задачей парсинга маркета - нужны прокси, у меня в подписи ссылка на сервисы через которые парсил данные.
     
    kagorec, Mar 15, 2020
    #4
    Root likes this.
  5. Konstantine

    Konstantine Member Пользователи

    Joined:
    May 7, 2018
    Messages:
    33
    Спасибо! Куплю прокси, однако :)
     
    Konstantine, Mar 15, 2020
    #5
    kagorec likes this.
  6. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Рассчитывайте необходимое количество прокси на основе нужных объемов парсинга и поведения конкретного сайта.

    Определите, после скольки запросов сайт выдает каптчу и при рассчете опирайтесь на эту информацию с учетом многопоточности парсинга через разные прокси (смена прокси производится при каждом запросе).
     
    Root, Mar 15, 2020
    #6
    Konstantine likes this.
  7. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Ребята, убедительная просьба перед покупкой запросите триал или как говориться проверочный пакет - чтобы проверить подходят ли прокси вам или нет.
     
    kagorec, Mar 15, 2020
    #7
    Konstantine and Root like this.
Similar Threads
  1. kagorec

    Парсим Google и Yandex подсказки

    kagorec, Jul 17, 2012, in forum: Решения по парсингу популярных сайтов
    Replies:
    14
    Views:
    6,244
    Moxtima
    Feb 3, 2020
  2. Djahat

    yandex market парсинг характеристик

    Djahat, Nov 30, 2015, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    6
    Views:
    1,867
    Djahat
    Dec 5, 2015
  3. maxwelhelp

    Сохранение картинок при парсенге с автоматическим переводом текста Yandex translate

    maxwelhelp, Nov 24, 2016, in forum: Скачивание картинок и файлов
    Replies:
    3
    Views:
    1,761
    maxwelhelp
    Nov 24, 2016
  4. malklar

    Парсинг zen.yandex.ru

    malklar, Jul 30, 2019, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    5
    Views:
    911
    Фёдор
    Jul 30, 2019
  5. Grushe

    Парсинг выдачи Yandex ru

    Grushe, Oct 29, 2019, in forum: Решения по парсингу популярных сайтов
    Replies:
    5
    Views:
    1,468
    Reset
    Apr 29, 2020
Loading...

Share This Page