Сохранять страницы собранные сканером сайта

Тема в разделе "Функции и интерфейс программы", создана пользователем serg211279, 3 авг 2018.

  1. serg211279

    serg211279 New Member Пользователи

    Регистрация:
    20 июл 2018
    Сообщения:
    3
    Здравствуйте! Хотел бы узнать, есть ли такая возможность? Это было-бы очень удобно, с такой функцией можно было-бы не проводить повторный, основной парсинг сайта, снижая вероятность бана. Можно было-бы распарсивать уже сохранённые/кешированные страницы.
     
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    476
    Можно сохранить список собранных ссылок
    [​IMG]
     
    xLime нравится это.
  3. serg211279

    serg211279 New Member Пользователи

    Регистрация:
    20 июл 2018
    Сообщения:
    3
    В моём случае нужно собрать снипеты всей выдачи. Например у меня 1800 страниц выдачи, но количество страниц предварительно мне не известно. Т.е. через сканер сайта я могу узнать количество страниц, и собственно ссылки на эти страницы. Но потом, придётся повторно проходить по этим страницам парсером контента. А сайт очень нервный, банит быстро, и привязка аккаунта к номеру телефона.
    Сейчас я генерирую ссылки на страницы с запасом, с интервалом 15000-60000, приостанавливаю парсинг по уведомлению "результат не найден", запускаю вручную новый список сгенерированных ссылок. Неудобно. Хотелось бы полностью автоматизировать процесс. Пока что я вижу автоматизацию через сканер сайта, с автоматическим парсингом найденных ссылок. Но опять таки, как я написал раньше, со сканером придётся удвоить количество обращений к сайту.
     
  4. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    476
    Предположу, что не правильно поставлена логика работы.
     
    serg211279 нравится это.
  5. serg211279

    serg211279 New Member Пользователи

    Регистрация:
    20 июл 2018
    Сообщения:
    3
    Вероятно... По вашему опыту, CD может переключаться на другой список ссылок по срабатыванию условия при парсинге контента? Например, появлению некоторого кода, или некоторого текста?
     
Similar Threads
  1. Jagger
    Ответов:
    10
    Просмотров:
    2.596
  2. svi
    Ответов:
    4
    Просмотров:
    884
  3. Trenikola
    Ответов:
    2
    Просмотров:
    380
  4. Yanush
    Ответов:
    4
    Просмотров:
    300
  5. strateg2010
    Ответов:
    7
    Просмотров:
    278
Загрузка...

Поделиться этой страницей