Баг-репорты

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 10 мар 2010.

  1. evgenij

    evgenij Member Пользователи

    Регистрация:
    10 авг 2019
    Сообщения:
    49
    Хмм, ПК это хостинг RuVDS, насоветованный вашим рекомендованным интегратором, который в лучших традициях слился и не отвечает на письма.

    Ну, что ж делать - попробую переехать.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    По возможности переустановите Windows (7, 8.1, 10 главное с актуальной версией IE v11) на сервере.
    WbappCEF принципиально используете или только на нем сайт открывается? Есть еще Wbapp который хорошо работает с сайтами под Cloudflare.
     
  3. evgenij

    evgenij Member Пользователи

    Регистрация:
    10 авг 2019
    Сообщения:
    49
    @kagorec Переустанавливал после первого бага. Сейчас перенёс на локальную машину - она у меня вроде боевая, буду смотреть сутки-другие.

    Сейчас использую WbappCEF - так установил слившийся интегратор. Думаю, хром или ие - не принципиально. Но эмуляция какого-то браузера обязательна - без неё в два счёта забанят. Опять же, яваскрипт для листания пагинации писал сам - под WbappCEF. Посему не знаю ещё, в каком случае буду переходить на ие.
     
    kagorec нравится это.
  4. evgenij

    evgenij Member Пользователи

    Регистрация:
    10 авг 2019
    Сообщения:
    49
    Вот ещё, кстати: при парсинге с помощью WbappCEF (с ИЕ не пробовал) процессы WВapp "крадут" фокус у всех окон, которые открыты в винде (Вин10х64). То есть работать вообще невозможно - напечатал одну букву в редакторе либо тут на форуме - бац, фокуса нет, а ты и не заметил. И в буфер ничего не скопируешь - клик на ctrl+с - а фокуса-то и нет и не скопировал ничего... Если потока два - то это не очень заметно, успеваешь, пока фокус есть. А если 10 - то вообще ничего больше делать нельзя...

    Для того, чтобы шорткатом сделать паузу в парсинге приходится заниматься такой гимнастикой: правой рукой мышью прижимать окно, чтобы фокус не сместился, а левой жать быстро ctrl+f5... Неудобно практически настолько же, как спать на потолке.
     
    Последнее редактирование: 23 сен 2019
    kagorec нравится это.
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Много не вникал, в этом источнике стоит начать с sitemap.xml по полученным ссылкам собрать дополнительные разделы, потом проанализировать ссылки (возможно там могут попасть лишние). В итоге от каждой категорийной ссылки собрать пагинацию ( макрос GENERATE)

    п.с. На серверных ОС что стандартно предлагает хостер, довольно часто проблемы изза DLL (старых, испорченных или отсутствие) встречаются у людей особенно при парсинге с Wbapp.
     
    Последнее редактирование: 23 сен 2019
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Нет такого у нас (тестируем на Win7 и Win10).

    Какая у вас версия программы? Меню - справка - о программе. Похоже что у вас старая версия!

    И в заголовке окна WBAppCEF у вас какая версия указана?
     
  7. evgenij

    evgenij Member Пользователи

    Регистрация:
    10 авг 2019
    Сообщения:
    49
    @Root
    Да вот самая же актуальнейшая. Другой-то и быть не может - переставлял когда на локальную машину, поставил, естественно, устаревшую версию, а потом по всем правилам проапдейтился. Причём этот эффект был и на московском сервере (RuVDS, русский Windows Server 2012), так и локально на немецкой винде 10х64. На локальную машину пенять не могу при всём желании - это зверская Dell Workstation. После переинсталляции на неё опять появился баг, описанный в http://forum.sbfactory.ru/threads/bag-reporty.1/page-46#post-45866. CEF брал по вашему линку, с Яндекс Диска. Но процессы пока что не засыпают - в этом плане полёт нормальный. А вот что фокус крадут - это болезненно, машина рабочая, мне ещё и работать нужно... Да, кстати вот - пробовал понижать приоритет процессов, не помогло, тырят фокус всё равно.

    Неужели придётся виртуальную машину поднимать? Страшно не хочется, вот совсем.
     
    Последнее редактирование: 23 сен 2019
  8. evgenij

    evgenij Member Пользователи

    Регистрация:
    10 авг 2019
    Сообщения:
    49
    @kagorec
    Спасибо, всё верно говорите. Только карты сайта нет. Пробовал играться с {num} - получилось хорошо, но кроме чисел в урл есть ещё слова, а если урл только с цифрами, то попадаю на нужный урл только через редирект, и после десятка редиректов палится прокси. В конечном итоге составляю категорийные ссылки с пагинацией сам, а CD уже снимает с них профили и парсит. Так что получается всё, как вы и сказали.
     
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    В конце домена /sitemap.xml
     
    evgenij нравится это.
  10. evgenij

    evgenij Member Пользователи

    Регистрация:
    10 авг 2019
    Сообщения:
    49
    @kagorec О! Вот это большая новость! На прошлой неделе ещё не было. Но сейчас я уже на том этапе, что "моя" карта сайта гораздо подробней, чем "их":) Вам же, как бы то ни было, пятёрка за дотошность.
    Кстати, мы тут не по делу беседуем. Вежливость вежливостью, а флуд потереть бы стоило, чтобы непорочность баг-трекера хранить.
     
    kagorec нравится это.
  11. evgenij

    evgenij Member Пользователи

    Регистрация:
    10 авг 2019
    Сообщения:
    49
    При неясных условиях (похоже, что как-то зависит от того, как остановлен парсинг и закрыта программа) вместо "нормальных" заголовков в CSV пишется
    Код:
    URL[CSVCS]Страница[CSVCS]Средняя оценка[CSVCS]Количество голосов[CSVCS]Количество вендоров[CSVCS][DYNAMICVALUES]
    . Обнаружил, что у меня около 20% файлов с результатами парсинга имеет такие "убитые" заголовки. Упомяну: и на удалённой, и на локальной машинах такое. Версия CD: 1110001048 и предыдущая.
     
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    В справке пояснения есть, где говориться что нельзя открывать\блокировать сохраняемый документ во время парсинга, а также исключать внезапных закрытый программы и дать коректно завершить формирование документа макросом DYNAMICVALUES
     
    evgenij нравится это.
  13. dima911

    dima911 New Member Пользователи

    Регистрация:
    5 апр 2018
    Сообщения:
    89
    Город:
    Волгоград
    WBapp 3.63 не учитывает настройки user-agent. Соответственно не может загружать мобильные версии страниц там где проходит проверка юзерагента. Просим исправить данный баг!
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Это ошибка компонента IE.

    Используйте Версию с Chromium, как я вам уже писал ранее.

    Ссылки недоступны для гостей
     
  15. dima911

    dima911 New Member Пользователи

    Регистрация:
    5 апр 2018
    Сообщения:
    89
    Город:
    Волгоград
    Ваши пользователи которые не имеют платную подписку на апдейты не имеют возможности получить исправление этого бага. У моя версия не поддерживает Ссылки недоступны для гостей, так что баг у многих сохраняется. Пожалуйста устраните ошибку! Либо повысьте лицензию до стабильно минимальной версии что бы ошибка устранилсь.
     
  16. ltt

    ltt Member Пользователи

    Регистрация:
    21 дек 2016
    Сообщения:
    112
    Добрый день! Кажется не работает добавление нулей перед [INT_ID]
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Замените файл Content Downloader (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 91 постов.**
     
  18. dima911

    dima911 New Member Пользователи

    Регистрация:
    5 апр 2018
    Сообщения:
    89
    Город:
    Волгоград
    На самом деле проблему можно решить таким образом
    передать юзер агент в параметры WBapp
    User-agent:Mozilla/5.0 (iPhone; U; CPU iPhone OS 3_0 like Mac OS X; en-us) AppleWebKit/528.18 (KHTML, like Gecko) Version/4.0

    upload_2019-10-8_22-58-47.png
     
  19. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    В WBAppCEF парсящем Авито на локальном ПК в 5 потоков, управляемым по Тимвьюер, значительная часть кликов перестает срабатывать при закрытии сеанса Тимвьюер. Пришлось исхитриться и создать два встречных сеанса Тимвьюер с VDS на ПК. Тогда работа идет стабильно.
     
  20. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    При парсинге большого количества страниц куда-то утекает оперативная память. 172К страниц спарсилось и 1ГБ памяти утек. Винде стало плохо.
     

Поделиться этой страницей