Количество потоков и скорость работы - как увеличить?

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем divenow, 30 окт 2015.

  1. divenow

    divenow New Member Пользователи

    Регистрация:
    10 окт 2015
    Сообщения:
    21
    Добрый день!
    Парсинг сайта kant.ru - только ссылки - занимает 6 часов. Приобрел версию ULTIMATE - но это не помогает.

    Сам контент парситься в 5 потоков. Как увеличить кол-во потоков? Вроде версия ULTIMATE позволяет парсить в 50 потоков? Не нашел в настройках.

    Спасибо.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    не всегда сайт позволяет на 1 ип макисимум скорости, это уже на стороне сервера.
    как альтернатива это прокси хорошие если хотите значительно ускорить сканироване и парсинг.
     
  3. divenow

    divenow New Member Пользователи

    Регистрация:
    10 окт 2015
    Сообщения:
    21
    В

    В инструкции написано:
    Ссылки недоступны для гостей

    Чтобы избежать получения бана от сайтов, вы можете поставить меньшее количество потоков и подобрать паузу между запросами. Количество потоков и пауза между запросами выставляются во вкладках «контент» и в сканере сайтов (кнопка на панели инструментов). Во вкладке «ссылки» всегда используется только 1 поток, в этой вкладке вы можете выставить только паузу между запросами (время ожидания между обращениями к сайту).
    ------------------------------------------------------------
    Не могу найти вкладку "Контент".
    Помогите куда кликнуть чтобы выставить кол-во потоков = 50.
     
  4. divenow

    divenow New Member Пользователи

    Регистрация:
    10 окт 2015
    Сообщения:
    21
    Забираю свой вопрос. Нашел ответ.
    Для также как я втанке показано где именно ставить 50
    Ссылки недоступны для гостей
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
     

    Вложения:

  6. divenow

    divenow New Member Пользователи

    Регистрация:
    10 окт 2015
    Сообщения:
    21
    Все равно не хватает скорости - что еще можно сделать?

    Подключил ULTIMATE, включил 50 потоков.
    Но скороти все равно не хватает.
    Нужно обойди примерно 30.000 ссылок
    По каждой ссылке выполняется GETMORECONTENT
    В целом парсер написал примерное время завершения через 18 часов.
    Можно ли как-то уменьшить это время, хотя бы в 2-3 раза?
    Спасибо.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Увы, нет.

    С уважением к вам, Сергей.
     
  8. J!Life

    J!Life Модератор Команда форума Модератор

    Регистрация:
    6 дек 2013
    Сообщения:
    83
    1. Некоторые пользователи жалуются на скорость при парсинге из-за того, что у них интернет 5-10МБ.
    2. Иногда бывает долгий пинг, так например я отказался от одного провайдера, с которым самый лучший пинг был ~150 мс
    3. Лучше всего использовать проводной интернет (от роутера), нежели вай фай. Невидимые преграды, старый роутер, долгий роутер могут значительно резать скорость - проверено на личном опыте.

    А теперь по делу - гетморконтент это еще один запрос к сайту - т.е. помимо того что вы загружаете страницу из списка ссылок, так еще загружается и другая страница, а это время.
    Поэтому стоит задуматься о поиске альтернативной настройки проекта.
    Так же иногда 10 потоков это быстрее 50.

    Ставим 50 потоков - открывается 50 страниц ОДНОВРЕМЕННО, + в каждой есть гетморконтент = еще + 50. Представьте какая это нагрузка и распределение трафика между сотней запросов.

    Не все сайты сидят на супер быстрых хостингах с супероптимизацией кода, для того чтобы быстро отдавать страницу пользователю. Поэтому и сам сайт может в итоге медленно отдавать контент для парсинга.
     
  9. divenow

    divenow New Member Пользователи

    Регистрация:
    10 окт 2015
    Сообщения:
    21
    Спасибо за столь исчерпывающий ответ. Попробую сделать следующие вещи:
    1) уменьшить количество потоков до 10
    2) подсоединиться напрямую к роутеру, а не через wifi

    Спасибо за столь подробные советы.
     
  10. Andrey

    Andrey New Member Пользователи

    Регистрация:
    27 июн 2017
    Сообщения:
    2
    Город:
    Киев
    Как увеличить количество потоков?
     
  11. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Что значит как?
    берем и пишем в соответствующем окошке, или вы о чем?
     
  12. Andrey

    Andrey New Member Пользователи

    Регистрация:
    27 июн 2017
    Сообщения:
    2
    Город:
    Киев
    Kreol, я в поиске искал мне для программы накрутки, нужно использовать 50 потоков, что и как я просто в этом не разбираюсь наткнулся на данную статью и вот у знающих людей хотелось бы узнать что и как и где сделать 50 потоков
     
  13. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    купить лицензию ultimate
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2017-06-28_12-13-33.png

    2017-06-28_12-14-07.png
     

Поделиться этой страницей