Необходимо спарсить сайт

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем SequelONE, 28 окт 2017.

  1. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    61
    Всем привет. Необходимо спарсить сайт:

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 100 постов.**
    Проблема в том, что через прокси с подключённым антигейтом, не может спарсить список ссылок на авторов. Вываливается ошибка 500 якобы, но через анонимайзеры сайт прекрасно работает, так что скорее всего причина в бане IP. Уже пробовал увеличивать время ожидания. Бесполезно. Есть ли какие-то обходные пути?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.562
    Здравствуйте.

    Попробуйте использовать SOCKS5-прокси. HTTP-прокси не дают полную конфиденциальность.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.562
    Хотя с обычными HTTP-прокси этот сайт парсится без проблем (только что попробовал).
     
    Последнее редактирование: 28 окт 2017
  4. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    61
    А сколько будет стоить спарсить всех авторов с этого сайта вместе с изображениями в формате CSV?
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.562

Поделиться этой страницей