Возможности парсера

Тема в разделе "Решения по парсингу популярных сайтов", создана пользователем Dmitriy76, 9 сен 2021.

  1. Dmitriy76

    Dmitriy76 New Member Пользователи

    Регистрация:
    9 сен 2021
    Сообщения:
    7
    Город:
    Санкт-Петербург
    Добрый день.
    Кто может подсказать по возможностям парсера?
    Нужно спарсить определенный сайт: Ссылки недоступны для гостей
    На этом сайте информация подгружается JS скриптами.
    Справится ли этот парсер?
    Также интересует вопрос, возможен ли запуска парсинга через крон?
     
  2. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Добрый день. На этом сайте вся информация нормально подгружается через библиотеку cis обычным get запросом Ссылки недоступны для гостей возможно вы ее не видите из-за бана, используйте прокси. Для обновления по крону в программе есть планировщик Ссылки недоступны для гостей
     
  3. Dmitriy76

    Dmitriy76 New Member Пользователи

    Регистрация:
    9 сен 2021
    Сообщения:
    7
    Город:
    Санкт-Петербург
    Работаю с другим парсером на данный момент.
    Нужно иметь обработчик JS кода.
    У этого донора присылается код на jscripte который проверяет передавать страницу или отправить на редирект. И так как js обработать нельзя этот цикл повторяется.
     
  4. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Отправил вам скриншот на примере вашей ссылки, все данные со страницы есть в ответе от сервера, на страницах пагинации так же все данные отображаются без танцев с бубном. Обычный сайт Ссылки недоступны для гостей
     
  5. Dmitriy76

    Dmitriy76 New Member Пользователи

    Регистрация:
    9 сен 2021
    Сообщения:
    7
    Город:
    Санкт-Петербург
    У меня сайт на opencart. Он написан на php, который не может обрабатывать JS.
    Правильно ли я понимаю, что этот парсер декстопный, поэтому у него нет сложностей с обработкой всей информации?
     
  6. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Нет, у этого парсера нет сложностей с обработкой всей информации, потому-что это обычный сайт не требующий реверсить и обрабатывать js код перед отправкой запроса чтобы получить ответ от сервера, информацию с него вы можете получить из любой среды разработки если правильно составить get запрос с передачей необходимых сетевых заголовков.
     
  7. Dmitriy76

    Dmitriy76 New Member Пользователи

    Регистрация:
    9 сен 2021
    Сообщения:
    7
    Город:
    Санкт-Петербург
    Спасибо. Значит буду пробовать работать с этим парсером.
     
  8. Dmitriy76

    Dmitriy76 New Member Пользователи

    Регистрация:
    9 сен 2021
    Сообщения:
    7
    Город:
    Санкт-Петербург
    Здравствуйте.
    Не знаете, поддержка как работает?
    В 11 часов оплатил лицензию - ни ответа, ни привета.
     
  9. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313

Поделиться этой страницей