Парсинг Авито по расписанию с сервера

Тема в разделе "Разное", создана пользователем Astraport, 17 апр 2015.

  1. Astraport

    Astraport New Member Пользователи

    Регистрация:
    17 апр 2015
    Сообщения:
    2
    Всем привет!

    Я хочу разместить на своем сайте графики изменения цен на недвижку и транспорт. Данные парсить с Авито по регионам. Какой-то автоматизированный ежедневный сбор, то есть с сервера. И сохранять в mySQL.

    А потом по этим данным строить графики, чтобы юзер мог отфильтровать допустим Воронеж, однокомнатные квартиры, вторичка, без ремонта, площадь, этаж и т. д. и получить динамику по ценам и дням.

    Такое возможно с помощью CD?
     
    Последнее редактирование: 17 апр 2015
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Да, возможно. Вопрос в объемах. Авито временно банит за частые автоматизированные обращения, поэтому очень сложно парсить с него большие объемы данных (сложность только с номерами телефонов, с ценами куда проще). По нюансам парсинга сайта Авито лучше обратиться в Skype Kagorec.

    С экспортом данных в MySQL при парсинге тоже проблем быть не должно, вот примерный алгоритм Ссылки недоступны для гостей

    С уважением к вам, Сергей.
     
  3. Astraport

    Astraport New Member Пользователи

    Регистрация:
    17 апр 2015
    Сообщения:
    2
    А банит по IP или аккаунт?
    Телефоны не нужны, только цены в зависимости от параметров. Но объемы парсинга предполагаются большие.
    Именно на основе этого видео я и подумал о вашем инструменте)

    Так CD может работать, запускаться, собирать данные в автоматическом режиме и с сервера?
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Авито при частом обращении банит по ип адресу. Авторизация наврятли нужна для парсинга цен.
    Такчто при наличии прокси парсинг можно много кратно ускорить, в ином случае аккуратно и медленно.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Может.
     

Поделиться этой страницей