Не парсятся ссылки с сайта

Тема в разделе "Фильтры ссылок", создана пользователем vanred79, 28 мар 2017.

  1. vanred79

    vanred79 Member Пользователи

    Регистрация:
    17 фев 2017
    Сообщения:
    86
    Здравствуйте! Не могу спарсить все ссылки с разделов одного сайта, почему то парсятся только первые 16 с одного раздела. Проект во вложении
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В проектах и сайтах мы просто так разбираться не будем.

    Пожалуйста, назовите КОНКРЕТНЫЙ адрес WEB-страницы, где программа не находит ссылки и укажите ссылки, которые там не находятся. Тогда проверим.
     
    Последнее редактирование: 28 мар 2017
  3. vanred79

    vanred79 Member Пользователи

    Регистрация:
    17 фев 2017
    Сообщения:
    86
    Вот один из разделов - Ссылки недоступны для гостей, нужны ссылки на объявления. С одного раздела собирает, но если их указать несколько, то нет
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Этот сайт странно отвечает на простые GET-запросы.

    Можете парсить с использованием движка Internet Explorer:
    2017-03-28_16-21-01.png

    PS: Ссылки недоступны для гостей
     
    vanred79 нравится это.
  5. Shakh

    Shakh New Member Пользователи

    Регистрация:
    3 май 2017
    Сообщения:
    3
    Здравствуйте.
    Дабы не плодить одинаковых тем хотелось узнать в чем проблема. Я начинающий пользователь вашей программы и использовал функционал по минимуму, так как при парсинге сайта (интернет-магазины) и достаточно было парсить в CSV файл название продукта, Цена, Описание и картинка(просто копировалась ссылка картинки). Работал только с HTML кодом сайта и текстовыми данными, как понятно из целей парсинга. Работаю c вашей программой почти пол года, до сих пор проблем не было. Теперь же просто не парсятся ссылки сайта: происходит остановка парсинга, как при блокировке доступа к сайту из-за слишком частого запроса с одного IP адресса, при этом запросов не было совсем, то-есть проблема ни в этом, так как с браузера зайти на сайт я могу. Ссылок не выдает никаких даже в очередь нет ничего, происходит остановка парсинга, внизу в строке состояния написано что "ссылок в очереди: 1". Именно на этом сайте уже спарсилось более 1 500 страниц товара.
    Заранее благодарю за помощь парсинг.png .
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Facepalm-cat.jpg

    Мы не будем переписывать ссылку со скриншота. Надо понимать, что ее нужно предоставить, как гиперссылку!!!
     
    Последнее редактирование: 3 май 2017
  7. Shakh

    Shakh New Member Пользователи

    Регистрация:
    3 май 2017
    Сообщения:
    3

    Прошу прощения, вот:
    Ссылки недоступны для гостей
    Но проблема не в сайте, конечно не исключаю факта что я ошибаюсь, потому что на других сайтах так же отказывается парсить ссылки, а на данном сайте я уже порядком спарсил.
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  9. Shakh

    Shakh New Member Пользователи

    Регистрация:
    3 май 2017
    Сообщения:
    3
    Root нравится это.

Поделиться этой страницей