Как узнать количество спарсенных ссылок в сканере

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем sotex2, 28 мар 2021.

  1. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    Доброго времени суток.
    Делаю сбор ссылок в сканере сайтов, через wba, как узнать какое количество спарсено в реальном времени. При включеном wba, еще можно посмотреть, что сам процесс сбора идет, но нет информации сколько ссылок спарсено, а если отключить показ wba, то вообще неизвестно идет сбор или нет, в логах тоже не отображается процесс. Есть ли возможность узнать это?
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    При сканировании отображается количество ссылок в нижнем окне. Если оно собирает.
     
  3. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    При сборе ссылок, не в одном окне не отображается количество собранных ссылок в реальном времени, ни в сканере сайтов, ни на вкладке ссылки. только когда сам процесс останавливается.
     

    Вложения:

  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Пролистывание страниц на JS, довольно ресурсоемкая и долгая задача.
    Это тогда нужно дождаться завершения работы JS скриптов которые назначили в CEF.

    Попробуйте открыть страницу в обычном броузере и отследить в F12 на вкладке Network, какие запросы идут.
    Например есть ссылка с пагинацией, остается добавить в парсер
    Код:
    https://supl.biz/api/monolith/suppliers-catalog/search/?category=8615&city=russian-federation&page=1&size=8
     
  5. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    Спасибо за ответ, но это через чур мудрено, да и пагинации на сайте нет, только клик показать еще. и тем самым не на сайте нельзя посмотреть, ни в программе. сегодня ждал пол дня, когда ссылки спарсятся, но в итоге WBA закончил работу и на выходе пусто. хотя до этого проверял и тестировал, останавливал принудительно процесс и ссылки парсились.
     
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую!
    Если данная задача для вас через чур мудренная. Прощу обратится к нам ( настройщикам) за адекватные деньги. от 2500 руб.
    Ждем вас в гости.
     
    kagorec нравится это.

Поделиться этой страницей