Хитрый сайт

Тема в разделе "Прокси для парсинга", создана пользователем apatin, 4 ноя 2017.

  1. apatin

    apatin New Member Пользователи

    Регистрация:
    20 сен 2017
    Сообщения:
    13
    Всем доброго вечера. Попался мне очень жесткий сайт, если можно, скину ссылку. Начал я его сканировать со своего IP через 3 минуты забанили, включил VPN, прошла минута, сразу бан, поменял IP в VPN та же история. Купил 10 прокси, с авторизацией по логину и паролю, эти прокси проходят проверку прям на том сайте, который нужно парсить - Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Начинаю сканировать не одной ссылки не находит. Сканирую свой сайт, с этими же прокси, все норм сканирует.

    Подскажите пожалуйста как они так сделали, и можно ли что нибудь с этим поделать?
     
  2. apatin

    apatin New Member Пользователи

    Регистрация:
    20 сен 2017
    Сообщения:
    13
    Исправьте плиз опечатку в заголовке темы =)
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    2.873
    Хорошо продумано с защитой от парсинга. Платные прокси оперативно банит, както имел дело с этим источником (больше нет желания).
    Разумнее будет парсить с нескольких альтернатив по чуть-чуть чем тратить сутки на выборку информации с одного.
     
    apatin нравится это.
  4. apatin

    apatin New Member Пользователи

    Регистрация:
    20 сен 2017
    Сообщения:
    13
    Начальник говорит что любую защиту можно обойти) Похоже придется его переубеждать. Раз Вы имели дело с этим направлением, можете посоветовать альтернативы?
     
  5. apatin

    apatin New Member Пользователи

    Регистрация:
    20 сен 2017
    Сообщения:
    13
    О, тогда могу подешевке, или вообще бесплатно отдать 10 прокси, может кому надо. Они куплены сегодня на неделю! Создать новую тему?
     
  6. Dumka

    Dumka Well-Known Member Пользователи

    Регистрация:
    8 фев 2012
    Сообщения:
    98
    И он прав, но вот вопрос времени и цены - будет ли оно того стоить?
     
  7. apatin

    apatin New Member Пользователи

    Регистрация:
    20 сен 2017
    Сообщения:
    13
    Подскажите плиз, что нужно сделать, чтобы спарсить? Купить 10к прокси, или парсить через VPN с 0.5 потока?
     
  8. Japonec

    Japonec Active Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    79
    Адрес:
    Kiev
    Сканировать на ссылки, или уже при парсинге границ?
     
  9. apatin

    apatin New Member Пользователи

    Регистрация:
    20 сен 2017
    Сообщения:
    13
    Пока что сканировать
     
  10. Dumka

    Dumka Well-Known Member Пользователи

    Регистрация:
    8 фев 2012
    Сообщения:
    98
    Чтоб ответить на данный вопрос нужно потратить время на изучение донора, изучения вариантов его парсинга и т.п. вещей, я его тратить не готов, извините.
     
    Root нравится это.

Поделиться этой страницей