Защита от парсинга

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем West, 9 янв 2015.

  1. West

    West New Member Пользователи

    Регистрация:
    9 янв 2015
    Сообщения:
    2
    Доброго времени суток, при сканере ссылок сайта rutor.org выдает только одну ссылку:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    , можно как-то обойти эту защиту?
    Спасибо!
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.430
    Адрес:
    Latvia
    Cookies передайте программе и собирайте через вкладку "ссылки"
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Также можно пробовать включить "Internet Explorer (DOM)" (в окне ctrl+h) и парсить в 1-2 потока (потоки выставляются в сканере сайтов или во вкладке "контент").

    С уважением к вам, Сергей...
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.430
    Адрес:
    Latvia
    Точно, обязательно при таких защитах яваскрипт обязательно включать, особенно когда cloudflare и т.д. защита на сайте.
     
  5. West

    West New Member Пользователи

    Регистрация:
    9 янв 2015
    Сообщения:
    2
    спасибо, помогло!
     
  6. garry

    garry New Member Пользователи

    Регистрация:
    25 май 2015
    Сообщения:
    1
    решил попробовать парсер в деле. зашел в сканер сайтов. ввел сайт. и оно выбило только одну ссылку
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    я так понимаю это защита от парсинга. ее возможно както обойти чтобы парсер собирал ссылки. если да, то напишите подробнее (как для зеленого новичка) что необходимо сделать
    PS а то я в этом почти не розбираюсь. только вот недавно заинтересовался
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.430
    Адрес:
    Latvia
    с досс гуард сайты парсить можно было, но обязательно через wbapp, в один поток и с паузой 5сек.
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Нажмите ctrl+h и включите Internet Explorer (DOM).

    С уважением к вам, Сергей.
     
  9. Lil

    Lil New Member Пользователи

    Регистрация:
    5 окт 2017
    Сообщения:
    31
    Город:
    Санкт-Петербург
    Приветствую, столкнулась сейчас. Не помогает:(
     
  10. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    В теме 5 летней давности
    IE - уже практически не используется

    На каком сайте ошибка ?
     
  11. Lil

    Lil New Member Пользователи

    Регистрация:
    5 окт 2017
    Сообщения:
    31
    Город:
    Санкт-Петербург
    Поиском нашла, где есть упоминания.
    Ссылки недоступны для гостей
     
  12. Lil

    Lil New Member Пользователи

    Регистрация:
    5 окт 2017
    Сообщения:
    31
    Город:
    Санкт-Петербург
    Когда открыла парсер на следующий день блокировка пропала. Но меня очень смутило, что когда блокировка была мне ничего не помогло ее обойти. Если кто-то с этим сталкивался последнее время и может как-то пояснить эту ситуацию, пожалуйста напишите ;)
     
    seva100 нравится это.

Поделиться этой страницей