Баг-репорты

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 10 мар 2010.

  1. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Здравствуйте. При парсинге через CEF появляются такие ошибки:

    [​IMG]


    [​IMG]

    Проект парсинга: Ссылки недоступны для гостей
    Проект wbappCEF: Ссылки недоступны для гостей
    JS для проекта wbappCEF:

    // выбираем нужный элемент
    var target = document.querySelector("div.footer-lower");


    // создаем новый экземпляр наблюдателя
    var observer = new MutationObserver(function(mutations) {
    mutations.forEach(function(mutation) {
    console.log(mutation.type);
    });
    });

    // создаем конфигурации для наблюдателя
    var config = { attributes: true, childList: true, characterData: true };

    // запускаем механизм наблюдения
    observer.observe(target, config);


    // позже, если надо, прекращаем наблюдение
    observer.disconnect();

    ///Передаваемые данные должны идти после [JSMESSAGE]:
    /// Используется в событиях типа [CHECKJSMESSAGE]
    alert("[JSMESSAGE]:eek:k");
     

    Вложения:

    Последнее редактирование: 12 дек 2019
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Если поставить 1 поток, у вас такая проблема будет происходить?
     
  3. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Да, в один поток тоже возникала такая ошибка, до этого ставил 2 потока.
     
  4. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Еще один момент заметил, процесс wbapp не всегда завершается после завершения потока, при этом в диспетчере задач штук 30 процессов wbapp висело, что грузит ЦП на 100%
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Это от меня не зависит. Дополнительные процессы создает Chromium. У Chromium есть проблемы с крашами. Возможно, исправят.

    Ссылки недоступны для гостей
     
  6. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Понял, спасибо. Пока юзаем старый добрый IE значит.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Да, это обидно. Труда очень много вложил в WBAppCEF, а он пока не работает стабильно. Причем на эти проблемы я повлиять не могу, дополнительные процессы и указанные ошибки создает движок браузера.
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    А почему вы используете WBApp для парсинга этого сайта? Он без WBApp парсится.
     
  9. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Да, я знаю, но не все элементы присутствуют в коде через get запрос, например доп фото или документы, по этому думал через CEF сделать. Уже post запросами распарсил.
     
    Root нравится это.
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если есть возможность парсить запросами, лучше запросами. Быстрее и надежнее.
     
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Подтверждаю, тоже столкнулся с подобными нюансами.
    Были большие надежды на Хромиум что в 50 потоков будет производительность хорошая (на мощном серверном ПК).
    п.с. так-то для точечных парсингов инструмент гибкий...
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вроде исправили.

     
    kagorec и kenny872012 нравится это.
  13. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    15 потоков в WBAppCEF полет нормальный!
     
    Root нравится это.
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо и ребятам за фикс.

    Ссылки недоступны для гостей
     
    kagorec нравится это.
  15. furiec

    furiec Member Пользователи

    Регистрация:
    24 дек 2012
    Сообщения:
    63
    Добрый день Сергей и все форумчане!
    Попробовал в деле функцию [ADDFINALDOCUMENT]Ссылки недоступны для гостей[TEMPLATE][SAVETOFILE:{path}C:\Content\{/path}api.txt{add}{notcsv}]my text here[/SAVETOFILE][/TEMPLATE][/ADDFINALDOCUMENT]
    И вот непонятно когда он срабатывает (пробовал запускать разные проекты) из 7 проектов записалось всего 2
    в логе напротив вставленного бланк пишет что обязательная граница пуста. То есть ссылку добавляет а вот savetofile не срабатывает
    думал проблема в этом но те 2 проекта которые сработали там в логе такая же запись
    В моих проектах так же после выполнения выполняется bat фаил
    перепроверил еще раз и вообще не сработало((
    Спасибо!
     
  16. drakkkon

    drakkkon New Member Пользователи

    Регистрация:
    16 янв 2018
    Сообщения:
    4
    Город:
    Чебоксары
    Здравствуйте. CD через какое то время парсинга сам по себе закрывается не допарсив (((
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Приложите проект, на котором такое происходит и скажите, куда нажимать, чтобы увидеть проблему.

    Также напишите, через какое, примерно, время у вас на ПК программа закрывается. Есть ли при этом сообщение с ошибкой?
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Если проблема не решится, напишите мне в Whatsapp
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    furiec нравится это.
  19. furiec

    furiec Member Пользователи

    Регистрация:
    24 дек 2012
    Сообщения:
    63
    Спасибо Сергей теперь работает!!! Лучший!!!!
     
    kagorec и Root нравится это.
  20. drakkkon

    drakkkon New Member Пользователи

    Регистрация:
    16 янв 2018
    Сообщения:
    4
    Город:
    Чебоксары
    Ошибку не выдаёт никакую. Просто нажимаю Начать парсинг и прога через какое то время закрывается. Время всегда разное и также вообще может не закрыться, а доработать до конца. Проект прилагаю
     

    Вложения:

Поделиться этой страницей