Сайт полностью блокирует парсинг

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Werter, 17 сен 2015.

  1. Werter

    Werter New Member Пользователи

    Регистрация:
    15 фев 2015
    Сообщения:
    15
    Здравствуйте.
    Сайт fedomo.ru полностью блокирует программу парсинг.
    Нет возможности даже задать границы парсинга.
    До этого сайт блокировал программу через какое-то время.
    Мне кажется это повод, что-то добавить к программе.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
  3. Lelik80

    Lelik80 New Member Пользователи

    Регистрация:
    2 апр 2015
    Сообщения:
    15
    Здравствуйте, не подскажете в чем может быть проблема если при включении DOM не грузятся картинки, даже границу парсинга не дает настроить. При чем парсится все кроме картинок, а границы не возможно настроить никакие вообще. Вот такую надпись получаешь: "You don't have permission to access /********/ on this server
     
  4. Werter

    Werter New Member Пользователи

    Регистрация:
    15 фев 2015
    Сообщения:
    15
    Настроил Advor как в той переписке.
    Вот, что выдает
    [​IMG]
     
  5. Werter

    Werter New Member Пользователи

    Регистрация:
    15 фев 2015
    Сообщения:
    15
    Может неправильно настраиваю?
     

    Вложения:

    • fedomo_ru.cdp
      Размер файла:
      28,1 КБ
      Просмотров:
      16
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    вы все правильно настроили и грнаицы тоже, ваша настройка работает
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    смените сеть в адворе (снизу вторая большая кнопка)
     
  7. Werter

    Werter New Member Пользователи

    Регистрация:
    15 фев 2015
    Сообщения:
    15
    kagorec - СПАСИБО! Получилось. Только после того как я скачал ваш файл проекта, из переписки на которой Вы мне дали ссылку. Значит я что-то не правильно настраивал.
     
  8. Werter

    Werter New Member Пользователи

    Регистрация:
    15 фев 2015
    Сообщения:
    15
    Рано я обрадовался. Опять сайт меня заблокировал.
    В теме http://forum.sbfactory.ru/showthread.php?t=296 есть объяснение, что надо зайти на 2ip.ru и проверить смену IP
    Я заметил, что IP у меня не меняется, но даже после перезагрузки подключения к сети и смены IP сайт все равно блокирует меня, не давая даже задать границы парсинга.
    Помогите, пожалуйста, разобраться со сменой IP и блокировкой сайта.
    Может не правильно настраиваю AdvOR ? хотя я все сделал как написано в выше упомянутой теме.
     
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    при включении прокси ип не меняется только если проксики не указаны (адворовский проксик считается как 127.0.0.1:9050)
    Добавьте в верхнее поле, потом сверху кнопка "добавить с проверкой" потом парсите.
     
  10. Werter

    Werter New Member Пользователи

    Регистрация:
    15 фев 2015
    Сообщения:
    15
    Это я настроил, не помогает!
    Может в парсинге что-то не настроил?
    Пробовал на 2-х ноутбуках, тоже самое.
    [​IMG]
     

Поделиться этой страницей