Вопросы

Тема в разделе "Разное", создана пользователем Vasya, 11 ноя 2013.

  1. Vasya

    Vasya New Member Пользователи

    Регистрация:
    11 ноя 2013
    Сообщения:
    2
    Всем привет. Простите если создал тему не в том разделе или ответу уже есть где-то на форуме.
    И так вопросы:
    1)нужны ли какие либо прокси сервера для использования "Content Downloader ULTIMATE"? Если прокси сервера не нужны, то не будет ли сайт банить по ip (или еще как-то)?
    2)возможно ли парсить программой номера мобильных телефонов с сайта "auto.ru"? Может нужен какой-то доп.контент?(использование демо версии не принесло никаких результатов потому как в демо версии запрещены некоторые функции)
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте. :cool:

    1) Зависит от сайта, некоторые банят, некоторые нет. Можно устанавливать меньшее количество потоков и подбирать паузу между запросами для обхода бана;
    2) Обратитесь к людям, которые занимаются настройкой, они точно должны сказать. Отвечу теоретически: да.

    Skype: Kagorec
    Skype: alamina.moon (ICQ 60202000)
    Skype: JoomlaLife.com (ICQ: 227274104)

    С уважением к вам, Сергей.
     
  3. mavar

    mavar New Member Пользователи

    Регистрация:
    7 янв 2014
    Сообщения:
    34
    Город:
    Москва
    Объясните плиз как работает механизм прокси?

    Вопрос в следующем:
    Программа "Стандарт" = 10 потоков.

    1. Если я добавляю скажем 35 прокси, то используются только первые 10 серверов? Т.е. сработает ограничение лицензии.

    2. Если я при 35 прокси серверах установлю 3 потока, то программа будет использоваться 30 прокси серверов, а остальные 5 будут подключатся в случае недоступности какого-нибудь сервера из первых 30 серверов?

    3. Как вообще будут работать 3 потока при задержке в 5 сек? Запустятся одновременно 3 потока или каждый поток через 5 сек?
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Каждый из 10 потоков будет использовать всегда разный прикси при каждом парсинге следующей страницы
     
  5. mavar

    mavar New Member Пользователи

    Регистрация:
    7 янв 2014
    Сообщения:
    34
    Город:
    Москва
    Если у меня в списке 35 прокси, я указываю 3 потока.
    Сколько прокси серверов будет использовано?

    Я хочу понять, каждый новый поток умножается на количество серверов в списке или нет?
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    если не ошиаюсь каждый поток старается не занятый уникальный прокси выбрать при парсинге каждой страницы
     
  7. mavar

    mavar New Member Пользователи

    Регистрация:
    7 янв 2014
    Сообщения:
    34
    Город:
    Москва
    Тогда получается, что в стандартной версии я не смогу использовать более чем 10 прокси серверов из-за ограничения в лицензии, правильно?
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Даже если будете парсить в 1 поток, то перебираться будет весь список прокси. Вполне логично.
     

Поделиться этой страницей