Вопросы по прокси

Тема в разделе "Решение проблем с использованием программы", создана пользователем vatnick, 1 сен 2014.

  1. vatnick

    vatnick New Member Пользователи

    Регистрация:
    27 мар 2014
    Сообщения:
    30
    Дело такое - "паршу" сайт который после нескольких обращений к файловому серверу отрубает к нему доступ (таймаут без ответа), при этом сами страницы загружаются нормально. Соответственно без проксей работать невозможно. У меня покупные прокси, под 3к. Если попытаться проверить их на главной странице файлового сервера (он должен выдать 403 форбиден, а не молчать по таймауту) то программа их не добавляет - может считает 403 за плохой ответ?
    Далее, очень медленная скорость парсинга, 0-0.1 док/сек, доходит до того что вообще не парсит. Каков принцип смены прокси, есть ли возможность задать такую схему что после каждого файла или хотя бы страницы прокси сменяется?
     
  2. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Попробуйте куки считать и менять(указать в программе несколько) агенты браузера.
     
  3. vatnick

    vatnick New Member Пользователи

    Регистрация:
    27 мар 2014
    Сообщения:
    30
    Хм, слона-то я и неприметил...во вкладке прокси нужно отдельно задать использование прокси для downloadfile! Посмотрим как пойдет
     

    Вложения:

  4. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Вы разве используете этот макрос?
     
  5. vatnick

    vatnick New Member Пользователи

    Регистрация:
    27 мар 2014
    Сообщения:
    30
    Да, в том-то и дело что мне надо скачать с каждой страницы от 1 до 10 файлов. Страниц около 3к+. Проксей тоже около 3к.
    Сейчас все страницы докачались, по файлам все печально, на глаз процентов 40 осталось незагруженными (со страницами проблем нет). Сайт банит именно за частое обращение к файл-серверу. Я бы потерпел и загрузил все за несколько дней, только надо как-то сделать так чтобы загружалось по схеме 1 файл = 1 прокси.
    Как сейчас работают прокси с downloadfile?
     

Поделиться этой страницей