Нужна помощь

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем dmitpostolnik, 11 дек 2018.

  1. dmitpostolnik

    dmitpostolnik New Member Пользователи

    Регистрация:
    11 дек 2018
    Сообщения:
    7
    Здравствуйте.
    Возникла проблема с компанией, парсит 50-200 номеров, потом перестает...
    Суть проблемы на сайте есть кнопка "показать телефон". После 50-200 нажатий перестает работать.
    Открываю через браузер нормально, через WBapp при нажатии на "показать номер" обновляет страницу.
    Прикрепил настройки, тестовый файл
     

    Вложения:

  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Банит вас, рекомендуется использовать proxy
     
    Root нравится это.
  3. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    либо 1 поток и паузы ещё как вариант
     
    Kreol и Root нравится это.
  4. dmitpostolnik

    dmitpostolnik New Member Пользователи

    Регистрация:
    11 дек 2018
    Сообщения:
    7
    Поставил 1 поток и прокси не помогает, вчера результат такой же 50-100 номеров потом перестало, когда дошло до 383 номера опять начало работать, дошло до 483 номера перестало работать. И во время работы программы запускается Яндекс браузер страница парсинга.
     

    Вложения:

  5. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Не совсем понятно.
    У вас проблема с олх, откуда берется какая-та страница парсинга яндекса ?
     
  6. dmitpostolnik

    dmitpostolnik New Member Пользователи

    Регистрация:
    11 дек 2018
    Сообщения:
    7
    Неправильно выразился, когда парсит сайт олх, у меня запускается яндекс браузер и переходит на сайт олх на то объявление которое парсит
     
  7. Psvland

    Psvland New Member Пользователи

    Регистрация:
    4 сен 2018
    Сообщения:
    10
    Город:
    Киев
    На днях возникла похожая проблема с сайтом ОЛХ. До этого номера телефонов открывались по клику без проблем. Сейчас - как захочет: бессистемно. Одно объявление все нормально, два нет, следующие три нормально, следующие шесть нет и так далее. Думал, с обновлением сайта ОЛХ в каких-то объявлениях поменялся код - проверил: код везде одинаковый. Создал полностью новый проект - безрезультатно: телефоны открываются как хотят...

    Пришел к выводу, что это хитрый бан от ОЛХ. Через некоторое время все начинает работать и если не "злоупотреблять", то все работает :)
     
    Последнее редактирование: 13 дек 2018
  8. dmitpostolnik

    dmitpostolnik New Member Пользователи

    Регистрация:
    11 дек 2018
    Сообщения:
    7
    Доброе утро, если не секрет сколько потоков, и какая задержка?
     
  9. Psvland

    Psvland New Member Пользователи

    Регистрация:
    4 сен 2018
    Сообщения:
    10
    Город:
    Киев
    Это не важно. Перепробовал все варианты. Да и бан какой-то хитрый. Банится именно программа! Поскольку просто в браузере (вне программы парсинга) при клике на ссылку "показать номер телефона" все открывается без проблем. Куда бы написать разработчику, чтобы обратил на это внимание?
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Приложите проект с собранными ссылками.

    Чтобы я не занимался еще и сбором ссылок.
     
  11. dmitpostolnik

    dmitpostolnik New Member Пользователи

    Регистрация:
    11 дек 2018
    Сообщения:
    7
     

    Вложения:

  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    (Печально вздохнув) Это не проект программы, это файл CSV. Я просил проект программы.
     
  13. dmitpostolnik

    dmitpostolnik New Member Пользователи

    Регистрация:
    11 дек 2018
    Сообщения:
    7
    проект в формате cdp?
    если да то вот
    Я просто профан в этом деле)
     

    Вложения:

    • olx_ua_Url.cdp
      Размер файла:
      35,5 КБ
      Просмотров:
      2
  14. dmitpostolnik

    dmitpostolnik New Member Пользователи

    Регистрация:
    11 дек 2018
    Сообщения:
    7
    И проект на номера телефонов
     

    Вложения:

  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Бля, это верх фейспалма.

    Я просил проект со ссылками, чтобы я не собирал ссылки на объявления. Это так сложно понять?

    Вы мне начинаете присылать сначала файл CSV с результатом парсинга. Затем тот же проект БЕЗ ССЫЛОК, что и в начале темы.
     
  16. Psvland

    Psvland New Member Пользователи

    Регистрация:
    4 сен 2018
    Сообщения:
    10
    Город:
    Киев
    Вот проект со ссылками. Не обращайте внимание на кол-во запросов и паузу. Я пробовал различные варианты.
     

    Вложения:

    • olx_ua_xxx.cdp
      Размер файла:
      38,5 КБ
      Просмотров:
      3
    Root нравится это.
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл проекта WBApp (приложил к сообщению).
    Замените файл WBApp.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    В доработанной версии добавлено событие [IFNEVERCLICKED], которое требуется для решения подобных задач.
     

    Вложения:

    • Olx.wbapp
      Размер файла:
      866 байт
      Просмотров:
      9
    emkub, kagorec и Psvland нравится это.
  18. Psvland

    Psvland New Member Пользователи

    Регистрация:
    4 сен 2018
    Сообщения:
    10
    Город:
    Киев
    Работает! Спасибо за быстрый отклик, спасибо за поддержку!
     
    Последнее редактирование: 14 дек 2018
    Root нравится это.
  19. emkub

    emkub Active Member Пользователи

    Регистрация:
    16 мар 2015
    Сообщения:
    157
    Здравствуйте.
    Такая же фигня.
    Заменил и сам WBApp.exe, и проект WBApp (который чуть выше), и даже саму программу из этого топика: http://forum.sbfactory.ru/threads/post-zapros.7488/#post-43891
    Пробовал макросы [IFNEVERCLICKED] и [IFDOCHAS]:xxx
    Безрезультатно. То срабатывает нормально, то вообще отказывается.
     

    Вложения:

Similar Threads
  1. shlomo
    Ответов:
    0
    Просмотров:
    1.498
  2. anton88
    Ответов:
    10
    Просмотров:
    2.530
  3. sanpaulo91
    Ответов:
    1
    Просмотров:
    1.322
  4. serg570
    Ответов:
    6
    Просмотров:
    1.765
  5. Андрей_bmw347
    Ответов:
    3
    Просмотров:
    939
Загрузка...

Поделиться этой страницей