Несколько машин для парсинга

Тема в разделе "Парсинг конкретных сайтов (ПЛАТНО)", создана пользователем dexperanto, 4 июн 2015.

  1. dexperanto

    dexperanto New Member Пользователи

    Регистрация:
    21 ноя 2014
    Сообщения:
    96
    Доброго времени суток.
    Парсю один сайтик с резюме.
    Там где-то 2,5 миллиона страничек=)
    Стоит задача слить резюме за 2015 год.
    Смысла пауком нет выдирать ссылки, ибо они все идут по номеру, но в разноброс. То есть, объявление сейчас может иметь ссылку с номером на конце 2235618, а следующее 446514, случайным образом.

    Сейчас стоит задача пройти по 2,5 страниц и собрать базу ссылка|дата. Далее по датам отсортирую, и уже буду парсить карточки отдельно за 2015 год. Сайт идёт легко, в 50 потоков 3000 ссылок за 2 минуты, то есть 90 тысяч в час, ни прокси, ничего не нужно.
    Если сам буду сливать, ну плюс на нетбуке, это примерно 14-15 часов времени.
    Вот бы разбить задачу на 5 частей, по 500к ссылок в одной. Две части мне на комп и нетбук, остальные другим. И так за 4-5 часов быстро сольём.

    Может у кого зря простаивает без дела машинка. Отпишитесь, пожалуйста=)
     
  2. seodamage

    seodamage New Member Пользователи

    Регистрация:
    5 фев 2014
    Сообщения:
    22
    Откройте еще 1 копию программы или сколько нужно и сливайте
     
    Pasmore нравится это.
  3. Pasmore

    Pasmore New Member Пользователи

    Регистрация:
    10 авг 2017
    Сообщения:
    4
    Город:
    Киев
    Спасибо за совет.
     
    Root нравится это.

Поделиться этой страницей