Копирование скрытых телефонов через авто клик

Тема в разделе "WBAppIE", создана пользователем Farid, 30 ноя 2016.

  1. Farid

    Farid New Member Пользователи

    Регистрация:
    1 сен 2015
    Сообщения:
    85
    Добрый день!
    Подскажите кто сталкивался с олх.
    Пытаюсь скопировать скрытые телефоны.
    Настроил клик через настройку списка событий в WBApp но при пред-просмотре клик не срабатывает и соответственно нельзя указать границы парсинга .
    Проект прикрепил
     

    Вложения:

    • olx_ua.cdp
      Размер файла:
      975,3 КБ
      Просмотров:
      6
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Похоже на то, что номер просто не успевает загружаться.

    Доработал проект и приложил пояснения:
    2016-12-01_18-19-39.png

    PS: Убедитесь, что в системе установлен Internet Explorer версии 11+

    С уважением к вам, Сергей.
     

    Вложения:

    • olx_ua.cdp
      Размер файла:
      975,5 КБ
      Просмотров:
      14
    kagorec нравится это.
  3. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Добрый день, давно работаю с olx. вы парсите только номера телефонов?
     
  4. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Поделюсь секретом парсинга OLX сайтов.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
     
    Последнее редактирование: 1 дек 2016
    GRINE, kagorec и Root нравится это.
  5. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Отредактировал ваш проект и приложил измененную версию. :)
    Вам осталось только добавить пару серверов прокси и начать парсить.
     

    Вложения:

    • olx_ua.cdp
      Размер файла:
      880,4 КБ
      Просмотров:
      24
    Djahat, kagorec и Root нравится это.
  6. Farid

    Farid New Member Пользователи

    Регистрация:
    1 сен 2015
    Сообщения:
    85
    Добрый день!
    все пока прежнему. Как проверить версию Internet Explorer?
     
  7. Farid

    Farid New Member Пользователи

    Регистрация:
    1 сен 2015
    Сообщения:
    85
    Добрый день!
    Номер появляется))) Только как мне теперь добавлять другие ссылки с сайта? Вы их видоизменили.
     
  8. Farid

    Farid New Member Пользователи

    Регистрация:
    1 сен 2015
    Сообщения:
    85
    Парсить мне надо номера с указанием категорией.
     
  9. Farid

    Farid New Member Пользователи

    Регистрация:
    1 сен 2015
    Сообщения:
    85
    Ага. теперь вроде ясно. Буду пробовать.
     
  10. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Добрый день)
    Выберите нужную категорию,
    далее добавьте фильтры что бы собрать ссылки с неё,
    но при этом добавьте к ним правило Поиск-Замена:
    Код:
    https://www.olx.{skip}/{skip}-ID{skip}.html|https://www.olx.{skip(1)}/ajax/misc/contact/phone/{skip(3)}/
    Untitled.png
    После того как собрали ссылки в измененом виде можете приступать парсить номера телефона с измененых ссылок.
     
  11. Farid

    Farid New Member Пользователи

    Регистрация:
    1 сен 2015
    Сообщения:
    85
    Я это понял что ссылки изменяться. Как мне спарсить еще категорию и под-категории? Ссылки я же изменю и они только под телефон подходят. Каким путем поступить? Сночало спарсить категории...потом изменить ссылки и присвоить измененные ссылки к оригинальным ссылкам в екселе и после добавить телефоны (внутренним перебором)
     
  12. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Еще совет:
    OLX поддерживает максимально 500страниц, page=1...page=500,
    Если подумать в данном случае вы парсили категорию мода и стиль, в ней 3 миллиона товаров,
    но изза того что olx поддерживает только 500 страниц вам удалось отпарсить только пару тысяч страниц.
    Рекомендую разделять категории, например отпарсить сначала женскую обувь, потом мужскую,
    потом переходить к другой, главное не парсить саму страницу Мода и стиль, так как из 3-х миллионов товаров вы получите только 20-30 тысяч
     
    Farid нравится это.
  13. Farid

    Farid New Member Пользователи

    Регистрация:
    1 сен 2015
    Сообщения:
    85
    Да. я видел что 500. В проекте 13000+ ссылок вышло (вы видели). Разве не все ссылки с 500?
     
  14. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Их тут не 13000+
    Untitled.png
     
  15. Farid

    Farid New Member Пользователи

    Регистрация:
    1 сен 2015
    Сообщения:
    85
    Ясно. Что то долго парсит (20 мин. 3%). 10 потоков стоит. Возможно я прокси накидал много (300+)
     
  16. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Поиск замена:
    Код:
    https://www.olx.ua/ajax/misc/contact/phone/{skip}/|https://www.olx.ua/obyavlenie/BEZRAZNICYSHTOTUTNAPISANO-ID{skip}.html
    Таким способом вы измените прямые ссылки на номер телефона обратно,
    тем самым получите снова ссылки на само объявление.
     
  17. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Лучше добавить 1 прокси.
    И установите опцию Приостановка при бане.
    Как прокси забанят ставь другой прокси в список.
    Так можно во все 50 потоков, за пару минут отпарсить всё)
     
  18. Farid

    Farid New Member Пользователи

    Регистрация:
    1 сен 2015
    Сообщения:
    85
    Ага. не знал такой подход...а где опция Приостановка при бане?
     
  19. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    CTRL+U :)
    Чем больше список прокси серверов тем медленнее он парсит,
    по этому лучше по моему методу
     
    Farid нравится это.
  20. Farid

    Farid New Member Пользователи

    Регистрация:
    1 сен 2015
    Сообщения:
    85
    Ясно. Буду пробовать. Спасибо за профессиональную консультацию!
     

Поделиться этой страницей