Не весь контент отображается в коде WEB-документа

Тема в разделе "Решение различных задач по парсингу", создана пользователем muxa0077, 11 фев 2020.

  1. muxa0077

    muxa0077 New Member Пользователи

    Регистрация:
    24 апр 2017
    Сообщения:
    39
    Добрый день!

    Один из сайтов, которые я люблю парсить, начал бороться с парсерами.

    Ситуация такая:

    1) Если в настройках запросов не включать IE DOM, то он отдает в коде сообщение, что вас заблочили. При этом в окне предпросмотра весь контент видно

    2) Если включить IE DOM, то в коде отдает почти весь нужный контент, но прячет важный кусок кода с инфой, которая мне нужна.
    В родительском html теге появляется класс js-hidden, и внутри этого тега ничего не выводится.

    3) Если я сам захожу на сайт, то в коде все ок, вся инфа есть, ничего не скрыто.

    Что пробовал:

    1) Разные настройки запросов (INDY, CIS, WIN, IE DOM) - не помогает, описал выше.

    2) Без прокси (свой основной ip), прокси ipv6, ipv4 - нет разницы

    Можете подсказать, как можно обойти это дело?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Предоставьте адрес WEB-страницы и укажите, какой именно контент нужно спарсить. Со сказанных вами слов не понятно.
     
  3. muxa0077

    muxa0077 New Member Пользователи

    Регистрация:
    24 апр 2017
    Сообщения:
    39
    Ссылки недоступны для гостей
    Иван Васильевич-молодой,богатый дворянин,модно одевается,следит за своей внешностью.Бойкий,веселый юноша.Так же он очень...
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Данные в коде есть. Не понимаю проблемы.
     

    Вложения:

    • znanija_com.cdp
      Размер файла:
      39,7 КБ
      Просмотров:
      3
  5. muxa0077

    muxa0077 New Member Пользователи

    Регистрация:
    24 апр 2017
    Сообщения:
    39
    Загружаю себе ваш проект, в логах получаю следующее:

    Программе не удалось загрузить WEB-страницу (The unknown error was occured: 80090326)
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Какая версия программы у вас установлена? (меню - справка - о программе).
     
  7. muxa0077

    muxa0077 New Member Пользователи

    Регистрация:
    24 апр 2017
    Сообщения:
    39
    11.1.0001047
     
  8. muxa0077

    muxa0077 New Member Пользователи

    Регистрация:
    24 апр 2017
    Сообщения:
    39
    Намёк понял, обновил программу, теперь все ок в моем старом проекте. Спасибо!
     
    Root нравится это.

Поделиться этой страницей