Загрузка ссылок и продолжение парсинга

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Zlodey, 27 апр 2015.

  1. Zlodey

    Zlodey New Member Пользователи

    Регистрация:
    17 фев 2012
    Сообщения:
    8
    Все привет!

    Друзья, такой вопрос, можно ли как то организовать загрузку ссылок после того как парсинг закончился, и продолжить парсинг.

    Тобиж, я так понял что софт не читает много ссылок(я разбиваю на 1.2кк, если больше то не подгружает) из файла txt, функция "загрузка ссылок перед парсингом".

    Можно ли как то сделать чтобы после завершения парсинга, подгружалась следующая база ссылок и парсинг продолжался?

    Получается что то типо расписания, как в хрумере.

    Закончили задание-загрузить другую базу-продолжить.
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Нет такое невозможно
    программа не умеет обрабатывать такие объемы, делите до 500-600к в файле
     
  3. Zlodey

    Zlodey New Member Пользователи

    Регистрация:
    17 фев 2012
    Сообщения:
    8
    Kreol, то что она не умеет обрабатывать такие обьемы это понятно, я написал что разбиваю.

    Вопрос не в обьемах, а подгрузке следующего файла для обработки.
    Чтобы не стартовать заново и не менять путь к следующему фалу txt.

    У меня просто стоит на двух дедиках две копии, и очень неудобно когда закончился парсинг, нужно ручками указывать следущий файл для обработки. Особено если парсинг заканчивается ночью, и получается, софт простаивает всю ночь, хотя все это время он мог бы работать)))

    А вот если бы было бы что то типо задания, закончился парсинг, подгузить следуший файл txt, продолжить парсинг... это было бы очень удобно. Получается софт можно хоть на неделю оставить без присмотра. Работает и работает...

    Может автор софта, может что то прикутить для реализации подобного функционала :eek:
     
    Последнее редактирование: 27 апр 2015
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Если разбив на порции и сохранили в отдельные проекты, то автоматизировать запуск (темболее на дедике) можно через планировщик встроенный в программе (ctrl+p)
    Или используйте планировщик виндовса (в Win 7 например очень удобный по стандарту имеется)
    Описание в справке: Ссылки недоступны для гостей
     
    Последнее редактирование: 28 апр 2015

Поделиться этой страницей