Скорость парсинга и прокси-сервера

Тема в разделе "Прокси для парсинга", создана пользователем customer77, 26 ноя 2017.

  1. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Город:
    orenburg
    Сейчас делаю парсинг профилей одного форума, собираю с них инфу, профилей 1 300 000.
    Парсю по 100к профилей.
    Изначально парсил на 5 потоках, была скорость 2-3 документа в секунду.
    Докупил до 20 потоков, стала скорость 3-6 документов в секунду.
    В чем может быть проблема? Я рассчиывал хотя бы на 10 документов в секунду.
    Прокси беру тут best-proxies.ru

    Подскажите, как ускорить, полагаю, что докупка потоков проблему то не решит.
    Может подскжите где можно купить точно скоростные прокси
     
  2. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Город:
    orenburg
    Проблема решилась с покупкой нормальных прокси.
    Кому нужно - советую вот o2proxy.com
    Я купил на 1 неделю 20 скоростных прокси за 470 рублей.
    С ними парсинг идет у меня 12-13 документов в секунду.
     
    TIIIMOXAN, green, Root и ещё 1-му нравится это.
  3. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Здравствуйте.

    Спасибо!
     

Поделиться этой страницей