Парсинг объявлений по дате добавления

Тема в разделе "Решение различных задач по парсингу", создана пользователем Oksana, 22 сен 2014.

  1. Oksana

    Oksana New Member Пользователи

    Регистрация:
    18 сен 2014
    Сообщения:
    6
    Добрый день, подскажите, пожалуйста, как спарсить объявления
    за определенный временной промежуток, например за 22.09.2014, время добавления с 12.00 до 14.00? дата и время добавления указаны явно. Спасибо
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Поможет сбор ссылок во вкладке "ссылки" по диапазону страниц. Хорошо если в неизвесном сайте есть структура по которой можно парсить по дате, в ином случае сбор ссылок также но при парсинге отфильровывать ненужное по DIGIFILTER макросу.
     
  3. Oksana

    Oksana New Member Пользователи

    Регистрация:
    18 сен 2014
    Сообщения:
    6
    Прошу прощения за "неизвестный" сайт, это
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    , нужно получать каждые два часа "порции" (отдельными файлами) новых объявлений.

    Правильно ли я понимаю, что для каждой такой "порции" нужно каждый раз собирать ссылки, предварительно определив диапазон страниц (объявления с нужным мне временем добавления, например 12:00-14:00)

    Можно ли макрос DIGIFILTER применить ко времени добавления (напримеру 11:58) к какому виду этот текст преобразует функция?

    Спасибо за терпение)
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Первые страницы например 5 вполне достаточно распарсить на наличие ссылок (это как посмотрел за сутки).
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Парсер периодически будет включаться и парсить потом только новые которые появились, игнорируя старые - так подходит, или вам надо собирать информацию точно в 12:00-14:00?
     
  5. Oksana

    Oksana New Member Пользователи

    Регистрация:
    18 сен 2014
    Сообщения:
    6
    На данный момент такое решение вполне подходит, спасибо!

    Хотелось бы еще знать можно ли автоматизировать процесс повторного запуска парсера, например задать время запуска? И, если это возможно, как автоматизировано запустить процесс распарсивания ссылок на страницах (ссылки на страницы, которые нужно распарсить сохранены в отдельном файле и при запуске парсера успешно подгружаются). Процесс полной автоматизации от времени запуска и до сохранения результатов очень важен, пожалуйста ответьте насколько это реально?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Реально на 100%!

    Небольшая инструкция по планировщику Ссылки недоступны для гостей

    Если будут вопросы, пожалуйста, задавайте!

    С уважением к вам, ребята с SBFactory.ru
     
  7. Oksana

    Oksana New Member Пользователи

    Регистрация:
    18 сен 2014
    Сообщения:
    6
    Нашла ответы на все вопросы! Спасибо огромное!
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Рады помочь... Обращайтесь...
     

Поделиться этой страницей