Повторный парсинг - обращается к кэшу или к сайту?

Тема в разделе "Разное", создана пользователем Atlas, 7 авг 2018.

  1. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    Добрый день.
    Задача такая. Есть список ссылок. Каждую страницу нужно посетить условно 10 раз (т.к контент на сайте появляется с заходом посетителя; нет посетителей - нет контента).
    Я хочу сэмулировать обращение к каждой странице. Для этого я задал границу парсинга <body></body> и запустил парсинг проекта в txt. Открыл планироващик и добавил этот же проект 10 раз.
    Скорость выполнения меня устраивает. Но возник вопрос - при повторном парсинге одной и той же ссылки программа обращается к сайту или берет данные из кеша? Второй вариант, как вы уже догадались, мне не подходит, т.к нужно все 10 раз обратится к сайту...
     
    Atlas, 7 авг 2018
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Кеширование в данном случае происходить не должно.
     
    Root, 7 авг 2018
    #2
    Atlas нравится это.
  3. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    Скажите, пожалуйста, у меня сейчас vps 3 ядра 3 озу, парсинг этой задачи запущен в 10 потоков, скорость около 20-30 документов в секунду.
    Пробовал ставить 20-30-50 потоков, скорость обработки не меняется.
    Увеличение мощностей vps повлияет на скорость при большем кол-ве потоков?
     
    Atlas, 11 авг 2018
    #3
  4. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Не факт. Все зависит от мощностей сервера, на котором расположен сайт, который вы парсите.
    Если, сайт работает на слабом сервере - запросы, при большом кол-ве обращений к серверу ставятся в очередь на обработку.
     
    inotoxic, 11 авг 2018
    #4
  5. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    Парсинг идет с моего же сервера. 10 ядер, 50 ram. Вроде мощный сервер, но в 20 потоков все равно парсить смысла нет, скорость как на 10.
     
    Atlas, 11 авг 2018
    #5
Similar Threads
  1. mikesoff

    Повторный парсинг - Прошу помочь

    mikesoff, 4 окт 2013, в разделе: Решение различных задач по парсингу
    Ответов:
    1
    Просмотров:
    912
    Root
    5 окт 2013
  2. ruslan76

    Вопрос по сайту

    ruslan76, 27 июл 2014, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    7
    Просмотров:
    879
    Root
    27 июл 2014
  3. Ded_Mozay

    Повторный парсинг ссылок

    Ded_Mozay, 4 ноя 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    1
    Просмотров:
    878
    Root
    4 ноя 2015
  4. gustav

    Повторный парсинг не сохраненных страниц

    gustav, 8 дек 2015, в разделе: Решение различных задач по парсингу
    Ответов:
    1
    Просмотров:
    657
    Root
    8 дек 2015
  5. SylarMG

    CD перестал подключатся к сайту

    SylarMG, 19 июн 2018, в разделе: Решение различных задач по парсингу
    Ответов:
    3
    Просмотров:
    371
    kagorec
    20 июн 2018
Загрузка...

Поделиться этой страницей