Контакты с авито.

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Deewer, 19 янв 2017.

  1. Deewer

    Deewer New Member Пользователи

    Регистрация:
    31 авг 2015
    Сообщения:
    17
    Извиняюсь за нубский вопрос.
    Можно ли как то спарсить номера из резюме на авито ?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.068
    Город:
    Сочи
    Здравствуйте.

    Можно. Имитировать клик по кнопке "показать номер" в браузере Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Ctrl+w, ctrl+w и затем:
    2017-01-19_22-57-56.png
     
    AleXL нравится это.
  3. Deewer

    Deewer New Member Пользователи

    Регистрация:
    31 авг 2015
    Сообщения:
    17
    спасибо
    там платный доступ в любом случае придется брать ?
    так они скрыты.
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.531
    То что вы видите в броузере можно собрать/спарсить в документ.
    Или вы ожидали какихто хакерских вторжений в источники, нет это просто сбор инфомации.
     
  5. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.541
    Авито требует учетной записи для "парсингового" просмотра помоему, иначе со временем айпи попадает в бан (работал с ним давно, так что если что не пинать). и не все телефоны могут быть текстом, некоторые идут картинками.
    Главное паузы поставить по 5-10 секунд и все будет норм)
     
    Root нравится это.
  6. JagerJ

    JagerJ Member Пользователи

    Регистрация:
    8 фев 2017
    Сообщения:
    35
    Пытался для себя выяснить возможности ускорения работы с Авито и даже спрашивал службу поддержки о такой возможности. Если кратко - нет такой услуги. Пробовал запускать несколько копий с разных папок с применением списков прокси - результат нулевой. Наверное ограничение в 1-2 потока с применением WBApp распространяется и на работу копий программы с разных папок (когда-то читал по этой темы материал, но уже не найду). Так что CD работал с 6-30 24.03 до 19-15 24.03 и стянулось 8600 контактов - в один поток с паузами 0-1000мс (плюс к этому работа WBApp).
    Вот текст письма с моим вопросом на Авито:
    Агент поддержки
    25.03.2017, 09:30
    Здравствуйте.
    Спасибо за письмо.

    Для корректной работы на сайте мы рекомендуем не обновлять одну страницу множество раз, а также не открывать большое количество вкладок со ссылками на наш сайт, так как может последовать кратковременная блокировка доступа к сайту.

    Такова особенность работы сайта.

    К сожалению, более подробную информацию о допустимом количестве запросов мы не можем Вам предоставить. Мы не разглашаем технические аспекты работы сайта, данная информация является конфиденциальной.

    Что касается вопроса о предоставлении платного доступа к объявлениям, то на нашем сайте подобная функция не реализована. Все объявления, находящиеся на сайте, одинаково доступны для просмотра пользователями.

    Если у Вас появятся другие вопросы или какие-либо идеи, обязательно напишите нам.
    Если по текущему обращению у вас остались вопросы, задайте их в ответе на это письмо.
    Также вы можете Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! службы поддержки.
    С уважением, служба поддержки Avito.
    [​IMG]
    Гость
    24.03.2017, 10:31
    Здравствуйте! А Вы предоставляете услуги платного доступа на просмотр объявлений? Есть возможность не попадать в бан по ip-адресу из-за частых обращений к сервису? Или подскажите, какие ограничения по времени и количеству запросов действуют на сайте, чтобы можно было выполнять просмотры без ущерба функциональности Вашего сервиса.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.068
    Город:
    Сочи
    AleXL нравится это.
  8. JagerJ

    JagerJ Member Пользователи

    Регистрация:
    8 фев 2017
    Сообщения:
    35
    Тогда не успевают прогружаться элементы для рендеринга. Я уже пробовал. Спасибо. Увеличение скорости парсинга будет неизбежно приводить к бану. Так что для себя сделал вывод - ускорить не получится.
     
    Root нравится это.
  9. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    156
    Здравствуйте, через avito.ru контакты отображаются картинкой.
    Через m.avito.ru отображается как нужно, текстом.
    Пробовал через мозилу от искать get запрос который отвечает за вывод телефона после нажатия на кнопку "показать контакты", вот что получилось [прикрепил]
    вот по этой ссылке должен быть контакт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    но там
    Код:
    {"error":"пожалуйста, обновите страницу"}
    Интересно то что когда на кнопке "показать контакты", нажимаешь открыть в другой вкладке, открывается страница с уже открытым телефоном, но если ее скопировать и открыть пустую вкладку, то ничего не происходит. Помогите кто более детально разбирается в куки или в get запросах. Заранее благодарен.
     

    Вложения:

    • avito.txt
      Размер файла:
      6,6 КБ
      Просмотров:
      9
    AleXL нравится это.
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.068
    Город:
    Сочи
    Здравствуйте.

    Делайте, как положено, через имитацию клика по кнопке показать номер в WBApp Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
  11. JagerJ

    JagerJ Member Пользователи

    Регистрация:
    8 фев 2017
    Сообщения:
    35
    Я парсил с основной версии сайта, а не с мобильной. Читайте выше по этой теме мои сообщения. А картинки поборол таким образом: скачал отсюда надстройку ексель, которая вставляет картинки в ячейки екселя. Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Надстройка платная, но есть бесплатный период 15 дней. Мне хватило бесплатного срока, но буду себе покупать - вещь прикольная. Алгоритм работы: парсю с кликом и делаю рендеринг картинки телефона. Картинки с номерами сохраняются в папку, а в цсв вставляется имя файла картинки. Затем надстройкой вставляю картинки. Для удобства обрамляю ячейки екселя границами и сохраняю как ПДФ. Немножко поугадывал с размером картинок, чтобы потом можно было уверенно распознавать изображения. Полученный ПДФ распознаю файнридером и результат обратно перегоняю в ексель. И УРА! Есть номера телефонов в текстовом формате.
     
    rushmessiah, Kreol и gans нравится это.
  12. Octavian

    Octavian Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    130
    Есть проще метод. Парсим любым способом картинки контактных данных и называем их по айди или по юзеру. Распознаем сохраненные на диске картинки файнридером и сохраняем в формате тхт с опцией "сохранять с именем исходного файла". Потом добавляем из локального каталога список тхт файлов в СД и парсим с шаблоном <CD_DOCURL!>[CSVCS][DOCSOURCE]. База готова
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.068
    Город:
    Сочи

Поделиться этой страницей