Вопросы по прокси

Discussion in 'Решение проблем с использованием программы' started by vatnick, Sep 1, 2014.

  1. vatnick

    vatnick New Member Пользователи

    Joined:
    Mar 27, 2014
    Messages:
    30
    Дело такое - "паршу" сайт который после нескольких обращений к файловому серверу отрубает к нему доступ (таймаут без ответа), при этом сами страницы загружаются нормально. Соответственно без проксей работать невозможно. У меня покупные прокси, под 3к. Если попытаться проверить их на главной странице файлового сервера (он должен выдать 403 форбиден, а не молчать по таймауту) то программа их не добавляет - может считает 403 за плохой ответ?
    Далее, очень медленная скорость парсинга, 0-0.1 док/сек, доходит до того что вообще не парсит. Каков принцип смены прокси, есть ли возможность задать такую схему что после каждого файла или хотя бы страницы прокси сменяется?
     
  2. alamina.moon

    alamina.moon Модератор Staff Member Модератор

    Joined:
    Jan 14, 2013
    Messages:
    214
    Попробуйте куки считать и менять(указать в программе несколько) агенты браузера.
     
  3. vatnick

    vatnick New Member Пользователи

    Joined:
    Mar 27, 2014
    Messages:
    30
    Хм, слона-то я и неприметил...во вкладке прокси нужно отдельно задать использование прокси для downloadfile! Посмотрим как пойдет
     

    Attached Files:

  4. alamina.moon

    alamina.moon Модератор Staff Member Модератор

    Joined:
    Jan 14, 2013
    Messages:
    214
    Вы разве используете этот макрос?
     
  5. vatnick

    vatnick New Member Пользователи

    Joined:
    Mar 27, 2014
    Messages:
    30
    Да, в том-то и дело что мне надо скачать с каждой страницы от 1 до 10 файлов. Страниц около 3к+. Проксей тоже около 3к.
    Сейчас все страницы докачались, по файлам все печально, на глаз процентов 40 осталось незагруженными (со страницами проблем нет). Сайт банит именно за частое обращение к файл-серверу. Я бы потерпел и загрузил все за несколько дней, только надо как-то сделать так чтобы загружалось по схеме 1 файл = 1 прокси.
    Как сейчас работают прокси с downloadfile?
     

Share This Page