Работа с кешем

Тема в разделе "Функции и интерфейс программы", создана пользователем Vitaliy_S, 10 янв 2021.

Метки:
  1. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Добрый день. Подскажите, как программа работает с кешем. Я нашел в настройках только кеш для предпросмотра, а при самом парсинге кеша не сохраняется?
    Например, у меня есть тысячи страниц для сбора, проверяю сбор на всем объеме. После парсинга нашел где-то ошибку и чтобы снова не ждать пока все страницы пересоберуться логичнее чтобы парсинг повторный брал данные из кеша. Также getmorecontent кеширует запросы, но при повторном парсинге снова собирает данные.
    Может где настройку пропустил? Если такого нет, то это очень полезная функция и экономит время.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Элементы списка ссылок кешируются только при предпросмотре.
     
  3. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    А планируется ли в дальнейшем кеширование результатов парсинга?
     
  4. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Сохраняйте код страниц, которые парсите по файлам - будет вам кеш
     
  5. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    И что это даст? Программа сможет работать с этими файлами при повторном сборе? Суть предложения, чтобы при первом парсинге сохранялся кеш страниц (опционально) и дальше, если нужно пересобрать, то это будет происходить в разы быстрее.
    Я долго занимаюсь парсингом и сейчас хочу перейти в большей части на СD. При больших объемах кеш реально выручает. Представьте, что вы собрали 10000 результатов, потратили несколько часов. И заметили ошибку, которой не было на тестах. И придется, после внесения правок в проект, заново пересобирать, а если будет кеш, то это займет минут 10.
     
  6. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    То, должны понимать, что сохраняя страницу которую вы парсили в файл, в случае ошибки, можно сохраненный файл загрузить - и распарсить по новой
     
  7. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Мы с Вами говорим на разных языках. Вы о костылях, а я о полноценной работе CD с кешем.
     
  8. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Вам виднее, вы же долго занимаетесь парсингом....
     
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Страницу целиком можно сохранить на диске, потом парсить - впрочем как предложили вам ранее.
    п.с. макрос [DOCSOURCE] выводит код загружаемой страницы
     

Поделиться этой страницей