Баг-репорты

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 10 мар 2010.

  1. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Миллионами парсили и не замечали проблем. При парсинге возможно задействовано много замен или много макросов что программа так немало заняла оперативки.
     
  2. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    В том-то и дело, что проект максимально тупой. Колонок 12, но никаких замен. Просто тупо границы. А 1ГБ куда-то утек. Летом 2-е суток проект со всякими извращениями парсил и ничего, а тут куда-то память таки утекает вплоть до падения Винды.
     
    kagorec нравится это.
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Обычно несколько потоков с использованием Wbapp хорошо нагружает комп, поскольку идет обработка DOM (это порой необходимо для сложного источника)?
     
  4. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    Продолжаю мучиться с утечкой памяти. Примерно через 100К строк утекает 800ГБ оперативы. Wbapp, макросы, замены не используются.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Попробуйте заместо WBAppIE использовать
    Ссылки недоступны для гостей
    Похоже, ваша система не освобождает память при использовании Internet Explorer.
     
  6. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    Данный проект не использует WBApp. Проект максимально примитивен. В нем 12 границ без поиска и замен. Парсится все через Win (бета) в 30 потоков. Примерно через 100К строк утекает 800Мб оперативы и Винда перестает отвечать.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Приложите проект под хайдом, чтобы его мог скачать только я. Протестирую.
     
  8. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    Файл прилагаю. Кстати, открыл проект, а там у меня во всех полях htm to txt прописан. Может там собака порылась?
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10000 постов.**
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    На Windows 10 никаких проблем не выявил.

    2019-10-19_16-50-52.png

    Скорее всего у вас проблемы с системой.

    PS: Можете перенести программу на другой ПК.
     
  10. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    Выяснилось, что да. Ложная тревога. Это у Винды где-то подтекает. Сорри.
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    У меня есть подозрения, что это антивирус. Так как многие антивирусы вмешиваются в работу программ и в запросы программ. Возможно, что-то вредят.
     
  12. Daniilka

    Daniilka New Member Пользователи

    Регистрация:
    10 июл 2017
    Сообщения:
    11
    Город:
    магнитогорск
    Добрый день, как скачать дистрибутив программы? При попытке скачать отсюда Ссылки недоступны для гостей открывается окно вделите логин пароль
    12.png
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Логин с паролем для скачивания вы получали при покупке программы.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 11 постов.**
     
  14. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    День добрый, уже не впервой встречаю такой баг, иногда когда сохраняешь проект окно выбора сохранения "как бы" находятся на заднем плане CD и как итог не могу выбрать место сохранения (потому что окна нету) и приходится тратить еще 3-4 часа на проект. 3 раза уже так проекты ломал (((

    Предлагаю решение: надстройку программы как в экселе, сохранять кэш или еще чего настроек проекта каждое n число времени, в случае если неправильно завершается работа приложения, всегда была возможность восстановиться из бекапа.
     
    Root нравится это.
  15. piarche

    piarche New Member Пользователи

    Регистрация:
    30 окт 2019
    Сообщения:
    12
    Всех приветствую! Я не знаю глюк или нет, но при замене "имя папки для сохранения файлов" папка создается, но парсятся картинки в папку files

    [​IMG]
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Для задания имени папки или файлов для DOWNLOADFILE используйте [DFN]

    Ссылки недоступны для гостей
     
    piarche нравится это.
  17. piarche

    piarche New Member Пользователи

    Регистрация:
    30 окт 2019
    Сообщения:
    12
    да я так и подумал,
    и еще, <div id='gallery-{AUTO}div| в замене срабатывает только один раз, пришлось 30 раз (строк <div id='gallery-{AUTO}div|), на всякий случай, одно и тоже прописать, чтоб все заменило,
    и в макросе [REPLACE] тоже только один раз заменяет, я понимаю так и задумано, оно бы как бы задать количество повторений?
    чет нигде не нашел зачем так сделано

    сидишь пол дня "тыкаешь" и не понимаешь "что ж я делаю не так", но я научусь
     
  18. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    кстати а возможно там где выделено прописывать конкретный путь? допустим: catalog\products\desc ?
    иначе когда парсишь товары по 5к + и в описании есть изображения, потом приходится самостоятельно менять пути к фото в описании. Иногда забываешь что парсил картинки в описании и получается такое что, картинки нет и мол описание этой самой картинки)
     
  19. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Забудьте про эти первые два поля. Лучше использовать DOWNLOADFILE для скачивания файлов\картинок в сочетании с [DFN] для задания папок хранения и наименования файлов.
     
    piarche нравится это.
  20. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    т.е. хотите сказать что можно сделать примерно так? CD_GRAN1 (Описание товара)

    и в выводе сделать так? [DFN]...[/DFN]<DOWNLOADFILE>CD_GRAN1</DOWNLOADFILE> ?
     

Поделиться этой страницей