Данные с сайта не подгружаются при парсинге

Тема в разделе "Решение различных задач по парсингу", создана пользователем Grafin, 20 ноя 2018.

Статус темы:
Закрыта.
  1. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Всем здравствуйте.
    Не смог разобраться как взять товары. Фото, артикулы, код, атрибутами, описанием и структурой каталога.
    Защита.
    Кто-то может помочь?
    Ссылки недоступны для гостей
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2018-11-20_10-44-07.png
     
    Grafin нравится это.
  3. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Как вывести второе окно настройки HTTP-запросов?

    И оказалось еще есть момент... Он мне и сбор ссылок не дает настроить. Пагинацию вывел, жму просмотр для настройки фильтров, а он не видит ссылок вообще.
    Вот пример страницы из пагинации Ссылки недоступны для гостей
     
    Последнее редактирование: 20 ноя 2018
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Позже посмотрю
     
  6. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Спасибо. Ибо я в тупике
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Сайт на IE нормально не работает и обычными запросами просто так не парсится. Нужно искать движок браузера другой, а с этим проблемы (все, что видел - плохо работают).
     
  8. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    К Сергею лучше обратиться с вопросом?
     
  9. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Я думаю, он уже в курсе )
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Наверняка
     
  11. Love-world

    Love-world Member Пользователи

    Регистрация:
    19 июл 2013
    Сообщения:
    102
    Тема актуальна, много сайтов стало отходить от поддержки IE, в пользу популярных браузеров.
     
    Root нравится это.
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Изучаю материалы в интернете, подтверждается факт: ни один из доступных компонентов браузера не работает нормально. А Microsofr EDGE не может быть использован, как компонент.

    Если не сложно, поскидывайте адреса проблемных сайтов (с указанием данных, которые нужно спарсить), попробую найти решения.
     
    Последнее редактирование: 22 ноя 2018
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Доработал программу для возможности парсинга указанного сайта, вот установщик:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 12 постов.**
    Работает не так быстро с этим сайтом, но по другому с ним пока никак
    2018-11-22_13-15-45.png
     
    Последнее редактирование: 22 ноя 2018
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проект приложил

    2018-11-22_13-18-12.png

    2018-11-22_13-18-52.png
     

    Вложения:

    • relefopt_ru.cdp
      Размер файла:
      37,7 КБ
      Просмотров:
      10
  15. Love-world

    Love-world Member Пользователи

    Регистрация:
    19 июл 2013
    Сообщения:
    102
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Загрузка не происходит как таковая.
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Этот сайт в IE никак грузится не будет. Его нужно парсить по прямым запросам (адреса которых можно получить с помощью инструмента для мониторинга подгружаемых данных в Firefox -> shift+ctrl+i).

    Например, для получения "Matches"

    2018-11-22_13-35-18.png
     

    Вложения:

    Love-world нравится это.
  17. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров

    Вложения:

  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Читайте мои сообщения из этой темы до тех пор, пока у вас не появятся нужные опции.
     
    Последнее редактирование: 22 ноя 2018
    xLime и Kreol нравится это.
Статус темы:
Закрыта.

Поделиться этой страницей