Как увеличить скорость парсинга

Тема в разделе "Решение различных задач по парсингу", создана пользователем urazaev90, 25 апр 2019.

  1. urazaev90

    urazaev90 New Member Пользователи

    Регистрация:
    25 апр 2019
    Сообщения:
    9
    Симпатии:
    0
    Помогите, у меня большое кол-во страниц, нужно 160 млн. страниц проштудировать, я запустил парсинг, но по подсчетам программа их обработает только за 2,5 года. Как можно увеличить скорость?
     
    urazaev90, 25 апр 2019
    #1
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Симпатии:
    1.422
    Каталог космических звезд?))

    Ускорение:
    Проект без wbapp
    Поделите список ссылок на части, каждую часть ссылок в отдельный проект.
    Желательно иметь несколько ПК в данном случае с лицензией CD ULTIMATE - на каждом пк чтоб одновременно работали по 10 парсеров.

    п.с. хорошее испытание будет для роутера (если такой имеется), главное чтобы пропускная способность интернета была достаточная и не блокировал источник.
     
    kagorec, 25 апр 2019
    #2
    Djahat нравится это.
  3. urazaev90

    urazaev90 New Member Пользователи

    Регистрация:
    25 апр 2019
    Сообщения:
    9
    Симпатии:
    0
    Посмотрите, вот эту лицензию я купил, она позволяет мне установить программу на нескольких компьютерах?
     

    Вложения:

    urazaev90, 25 апр 2019
    #3
Similar Threads
  1. Jagger

    Скорость парсинга совсем упала 0-0,3 в среднем

    Jagger, 19 дек 2013, в разделе: Решение проблем с использованием программы
    Ответов:
    9
    Просмотров:
    2.513
    Root
    19 дек 2013
  2. Drabadan

    Упала скорость парсинга

    Drabadan, 28 апр 2015, в разделе: Решение проблем с использованием программы
    Ответов:
    3
    Просмотров:
    1.351
    kagorec
    29 апр 2015
  3. divenow

    Количество потоков и скорость работы - как увеличить?

    divenow, 30 окт 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    13
    Просмотров:
    3.811
    Root
    28 июн 2017
  4. Yetty

    Как увеличить скорость парсинга?

    Yetty, 26 ноя 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    10
    Просмотров:
    3.654
    Duck83
    2 июл 2018
  5. customer77

    Скорость парсинга и прокси-сервера

    customer77, 26 ноя 2017, в разделе: Прокси для парсинга
    Ответов:
    2
    Просмотров:
    1.610
    Root
    27 ноя 2017
Загрузка...

Поделиться этой страницей