Сбор ссылок с сайта под защитой DistilNetworks

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем jeDauphin, 24 апр 2015.

  1. jeDauphin

    jeDauphin New Member Пользователи

    Регистрация:
    20 фев 2013
    Сообщения:
    91
    Помогите, пожалуйста, понять как собрать ссылки в сканере сайтов с сайта под защитой Distil Networks (некий аналог Сloudflare)?
    Знаю, что была аналогичная тема, но советы не помогли.

    Собственно, вот сам сайт:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Что я только не делал - менял библиотеку, включал Internet Explorer (DOM), выставлял безумный таймау в 1 поток, но в итоге один и тот же результат:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Буду безумно благодарен за помощь.
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    явно не весь список)
    Заходим на любую страничку с данными.
    вставляем в парсер урл, например
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    нажимаем ctrl+k
    Внизу нажимаем кнопку Передать кукисы
    и пробуем задать границы.
    И все работает
     
  3. jeDauphin

    jeDauphin New Member Пользователи

    Регистрация:
    20 фев 2013
    Сообщения:
    91
    Кукисы я передал, пару минут поработал сканер (1 поток, 2000 мс) и снова выскакивает блокировка. Проблема в том, что я не могу запустить сканер сайтов, чтобы собрать ссылки на организации.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 25 апр 2015
  4. jeDauphin

    jeDauphin New Member Пользователи

    Регистрация:
    20 фев 2013
    Сообщения:
    91
    Насколько понимаю CD бессилен против Distil Networks?
     

Поделиться этой страницей