WBApp не справляется с 2 тыс страниц?

Тема в разделе "Решение проблем с использованием программы", создана пользователем dubrost, 15 авг 2017.

  1. dubrost

    dubrost New Member Пользователи

    Регистрация:
    15 авг 2017
    Сообщения:
    3
    Всем привет!

    Использую WBApp для сканера ссылок.
    Настроил WBApp, он поочередно проходит ~ 2,1 тыс. страниц и забирает с них код HTML.
    Затем должен прогнать результат через фильтр ссылок и сохранить их списком, но на деле ничего не сохраняет. Если запускать с меньшим количеством страниц, то все отрабатывает отлично.

    Возможно переполняется какой-то буфер или ограничение по объему.

    Может кто сталкивался?

    [CLICK][id][N]0[/N][FULL]:XXXXX
    [WAIT]:5000
    [REPEAT]:2100
    [WAIT]:3000
    [GETHTML]
    [CLICK][title][N]0[/N][FULL]:XXXXX
    [/REPEAT]
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2000*60 000 (средняя длина кода WEB-документа) = 120 000 000 символов (очень много).

    Используйте не [GETHTML] (берет весь код), а [GETHTML]:начало{get}конец|{get} (возьмет часть кода).
     
  3. dubrost

    dubrost New Member Пользователи

    Регистрация:
    15 авг 2017
    Сообщения:
    3
    Спасибо за ответ,
    попробовал ограничить. Сократил кусок кода по максимуму, но проблему не решило.
    Не нашел в документации возможно ли задать в WBApp границы повторяющихся значений, чтоб в Content Downloader отдавать еще меньше кода?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Функцией поиск-замены Ссылки недоступны для гостей с помощью {multiget} можно взять повторяющиеся значения.

    Код:
    [GETHTML]:начало{get}конец|{multiget}
     
    kagorec нравится это.
  5. dubrost

    dubrost New Member Пользователи

    Регистрация:
    15 авг 2017
    Сообщения:
    3
    Еще раз спасибо, мультигетом удалось решить проблему.
     
    Root нравится это.
  6. Serg777

    Serg777 New Member Пользователи

    Регистрация:
    1 сен 2017
    Сообщения:
    4
    Не срабатывает Wbapp клик по номеру телефона при предосмотре элемента (событие создано и работает) пример страницы: Ссылки недоступны для гостей
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Значит создано не правильно, пробуйте событие клика по телефону указать на другой элемент.
     
  8. Serg777

    Serg777 New Member Пользователи

    Регистрация:
    1 сен 2017
    Сообщения:
    4
    Не помогло. Событие работает в окне настройки проекта Wbapp, кликер нажимает на номер телефона и он показывается, но не срабатывает в окне предосмотра элемента, идет обратный отсчет, пишет "Выполнение списка событий", окно Wbapp закрывается, но парсится по прежнему "09xxxxxxxx", номер телефона не парсится!
     
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Проект в личку или здесь к посту приложите.
     
    Root нравится это.
  10. Serg777

    Serg777 New Member Пользователи

    Регистрация:
    1 сен 2017
    Сообщения:
    4
     

    Вложения:

    • olx_ua_true.cdp
      Размер файла:
      35,6 КБ
      Просмотров:
      7
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  12. Serg777

    Serg777 New Member Пользователи

    Регистрация:
    1 сен 2017
    Сообщения:
    4
    Root нравится это.

Поделиться этой страницей