Помогите решить проблему

Тема в разделе "Решение различных задач по парсингу", создана пользователем Deewer, 15 дек 2015.

  1. Deewer

    Deewer New Member Пользователи

    Регистрация:
    31 авг 2015
    Сообщения:
    17
    Загружаю сайт в вебапп и тут же вылетает реклама на все окно.
    Как сделать, что бы при открытии страниц на этом сайте реклама не вылетала и не блокировала действия ?
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 15 дек 2015
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Предоставьте адрес этой WEB-страницы. Попробую разобраться и помочь.

    С уважением к вам, Сергей.
     
  3. Deewer

    Deewer New Member Пользователи

    Регистрация:
    31 авг 2015
    Сообщения:
    17
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Множество различной навязчивой рекламы. У меня нет идей, как ее не отключить.

    Почему бы не парсить этот сайт без использования WBApp (Internet Explorer (DOM))?
     
  5. Deewer

    Deewer New Member Пользователи

    Регистрация:
    31 авг 2015
    Сообщения:
    17
    я новичек в факе увидел про вебапп
    можете скинуть ссыль на этот метод ?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В окне настроек HTTP-запросов (ctrl+h) отключить Internet Explorer (DOM) и парсить.
     
  7. Deewer

    Deewer New Member Пользователи

    Регистрация:
    31 авг 2015
    Сообщения:
    17
    по страницам он тоже будет ходить ?
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если корректно настроите, то да.
     
  9. Deewer

    Deewer New Member Пользователи

    Регистрация:
    31 авг 2015
    Сообщения:
    17
    Подскажите пожалуйста как сделать, что бы прога ждала загрузки страницы и если страница не подгрузилась, то снова ее обновлял пока та не загрузиться нормально ?
    Начал парсить, а куча страниц не открылись.
    2015-12-16 19-55-07 Скриншот экрана.png
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пробуйте парсить в 1 поток.
     

    Вложения:

  11. Deewer

    Deewer New Member Пользователи

    Регистрация:
    31 авг 2015
    Сообщения:
    17
    стало меньше пропускать
    можно ли сделать чтоб не пропускал страницы?
    2015-12-16 22-08-11 Скриншот экрана.png
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте еще раз.

    Попробуйте установить паузу между запросами 1000 мс?

    PS: Можете показать скриншот вашего окна ctrl+h?
     
  13. Deewer

    Deewer New Member Пользователи

    Регистрация:
    31 авг 2015
    Сообщения:
    17
    вот
    2015-12-17 12-20-35 Скриншот экрана.png
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте еще раз.

    Попробуйте установить паузу между запросами 1000 мс?
     
  15. Deewer

    Deewer New Member Пользователи

    Регистрация:
    31 авг 2015
    Сообщения:
    17
    все ровно пропускает
    там сайт такой, что порой нужно обновить страницу, что бы прогрузился контент. Можно как то реализовать это ? Сделать чекер который обновлял бы если не прогрузился контент
     
  16. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Достаточно парсить через прокси CTRL+R если сайт вас не пускает.
     

    Вложения:

    • cd-proxy.png
      cd-proxy.png
      Размер файла:
      39,7 КБ
      Просмотров:
      0
    Последнее редактирование: 18 дек 2015
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Используйте связку макросов [CHECKENTRY] + [RELOADDOCUMENT]

    [CHECKENTRY] проверяет наличие текста или вхождения Ссылки недоступны для гостей
    [RELOADDOCUMENT] инициирует повторный парсинг текущей WEB-страницы
     
  18. Deewer

    Deewer New Member Пользователи

    Регистрация:
    31 авг 2015
    Сообщения:
    17
    вот так ?
    пропусков нет, но страницы не по порядку идут.
    не че то не так сделал )
    парсит значение только
     

    Вложения:

    Последнее редактирование: 19 дек 2015
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    1) В многопоточном не по порядку будет запись данных. Если вам нужна запись данных по порядку, поставьте 1 поток;
    2) Макрос [RELOADDOCUMENT] нужно вставлять внутрь макроса [CHECKENTRY]. В вашем же случае [RELOADDOCUMENT] будет всегда срабатывать!
     

Поделиться этой страницей