Заковыка с планировщиком

Тема в разделе "Решение различных задач по парсингу", создана пользователем dimochkaorg, 5 апр 2023.

  1. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Есть некое количество проектов по одному и тому же сайту. Каждый проект парсит категорию, а потом в дело вступают фильтры и разносят спарщенное согласно требумой модели данных. Суть не в этом. Удалось вычислить прямой адрес информационного фрейма и обходиться без нужного, но все-таки увеличивающего время парсинга WBApp. Поэтому просто генерим от вольного допустим 50-ссылок типа Ссылки недоступны для гостей ... Ссылки недоступны для гостей - заносим в проект и начинаем парсить. Собрать я эти ссылки не могу это адрес фрейма (поэтому просто генерим) и он не содержит ничего кроме информации. В какой-то момент попадаем на ту ссылку, где уже информации нет. Все этим множество проектов добавлены в плнировщик. Настроено, что если допустим определенная граница пустая, то останавливается парсинг и после окончания закрыть программу. И вот здесь происходит главная закавыка. Вылетает объявление о приостановке парсинга и оно висит и парсинг как бы не заканчивается. Если не поставить галочку - то ловим бан от сервера за подозрительные действия когда идет тупой перебор несуществующих страниц, похоже на сканер дырок. ))) Я бы с удовольствием собрал бы ссылки, но их. Единственным выходом мне видится совершенно кондовая штука в сборе ссылок существующий нужный код менять ))))) на ссылку? а потом ее находить. В конце-концов дойдет до той ссылки где кода не будет и автозамена не сработает и ссылка не найдется. Правильно ли все это? По-моему извращение ))))) Всего-то нужна опция, в кнопке авто, если граница не нашлась, парсинг закончен.
    UP
    К сожалению "кондовым методом" тоже не получается поиск замена не понимает [PARAM] ни [COUNT]

    UP2 Короче все заковыка в висящем объявлении о приостановке, потому что пока не нажмешь не кнопку закрыть программа не закроется и не перейдет к следующему проекту в планировщике.
     
    Последнее редактирование: 6 апр 2023
  2. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Итак нужна обыкновенная возможность отключать объявление об приостановке парсинга (когда выставлен параметр 0 не возобновлять), потому что в планировщике невозможен запуск следующего проекта без ручного нажатия кнопки закрыть. Неужели на это никто не налетал за все годы или есть возможность, но я ее не могу найти?

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 11000 постов.**
    Здесь всего один товар, если CD пытаться и дальше ломиться с увеличением номера пейджа, даже под проксями - система чаще всего банит.
     
    Последнее редактирование: 6 апр 2023
  3. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    ТЕМА ЗАКРЫТА, как видать из-за весеннего авитаминоза моего мозгла, не узревшего в сокоровищницах CD великолепного макроса CLOSETHEPROGRAM который замечательно "фунциклирует с
    [CHECKENTRY([ANYTEXT])]. Кнопку мне очень захотелось, видать и предложение внести по усовершенствованию программы. ))))
     
    kagorec нравится это.
  4. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Тема к сожалению не закрыта, клоззепрограм закрывает все копии программы, включая ту в которой запущен планировщик, перехода к следующему не происходит ((((
     
    Последнее редактирование: 6 апр 2023
  5. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Странная тема, сам пишу сам отвечаю. Короче победа

    Конструкция, чтобы не проходится по ненужным ссылкам (которыъ сколько неизвестно и спарсить их тоже нельзя), и не попасть под бан (за шляние по несуществующим ссылкам) и чтобы планировщик не закрывался, а переходил к другому проекту, замысловата, но работает

    [CHECKENTRY([ANYTEXT])][CG1:повторяющиеся границы 1][THENTEXT][CG1:повторяющиеся границы 1][ADDURL]Ссылки недоступны для гостей

    Начальное начение макроса [COUNT] = 2, а в проекте изначально только одна ссылка Ссылки недоступны для гостей Далее. Макрос [CHECKENTRY([ANYTEXT])][CG1:повторяющиеся границы 1]проверяет существование контента и если есть переходит к его парсингу и добавлению в конец списка урла с увеличенной на единиццу пейджа. и так пока он не наткентся на пустоту в этом случае парсинг заканчивается по причине отсуствия ссылок, планировщик закрывает этот проект и спокойно переходит к следующему.

    Вдруг может кому пригодится. Всем хорошего парсинга!
     
    kagorec нравится это.

Поделиться этой страницей