Нужно спарсить большой сайт (обойти бан сайта за частые запросы)

Тема в разделе "Свободный форум", создана пользователем talerbiz, 15 мар 2017.

  1. talerbiz

    talerbiz Active Member Пользователи

    Регистрация:
    11 мар 2017
    Сообщения:
    143
    Собственно проект в CD уже готов и настроен, но проблема с банами. Кто имеет опыт обхода банов, пишите, обсудим, договоримся

    Желательно сразу в скайп
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вариантов два:
    1) Снизить количество запросов за единицу времени (установка 1 потока, подбор паузы между запросами)
    2) Использование списка прокси-серверов (ctrl+r)

    Если вы хотите воспользоваться услугами специалистов по настройке, думаю, лучше сами им напишите Ссылки недоступны для гостей

    С уважением к вам, Сергей.
     
  3. talerbiz

    talerbiz Active Member Пользователи

    Регистрация:
    11 мар 2017
    Сообщения:
    143
    Спасибо, но 1 поток с паузой, это очень долго...
    По поводу прокси, я купил 10 шт за 400р, вроде неплохие но все забанены.

    Может кто-то знает секрет :)
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Секретов нет. Вариантов два. Либо парсить медленно, либо искать большее количество незабаненных прокси. Выше головы не прыгнешь.
     
    Yarius нравится это.

Поделиться этой страницей