Баг-репорты

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 10 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вроде теперь прекрасно...

    Ссылки недоступны для гостей
     
  2. masser

    masser New Member Пользователи

    Регистрация:
    14 май 2020
    Сообщения:
    3
    Город:
    Витебск
    Не удаётся обновиться до версии 11.1.1711149 (28.04.2021). Жму кнопку "Рекомендуем обновить программу!", начинается обновление, программа перезапускается и снова просит обновиться (установлена версия 11.1.1711138). В папке updates файлы cd_install_1111711149.exe и cd_install_1111711138.exe одинаковые (и размер и контрольная сумма).
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Попробуйте сейчас.
     
    masser нравится это.
  4. masser

    masser New Member Пользователи

    Регистрация:
    14 май 2020
    Сообщения:
    3
    Город:
    Витебск
    Обновление прошло успешно. Спасибо.
     
    Root нравится это.
  5. virton

    virton New Member Пользователи

    Регистрация:
    25 апр 2021
    Сообщения:
    2
    Спасибо все заработало
     
    Root нравится это.
  6. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Здравствуйте. Не работает макрос [VERTTABLE] если в таблице одна строка. Решается макросом [DYNAMICVALUES], но [VERTTABLE] стоит подправить.
     

    Вложения:

    • тест.cdp
      Размер файла:
      40,1 КБ
      Просмотров:
      1
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В параметр [MIN] вместо 2 поставьте значение 1...
     
  8. sitedn

    sitedn New Member Пользователи

    Регистрация:
    13 окт 2015
    Сообщения:
    17
    Здравствуйте.

    Ссылки недоступны для гостей
    Перехожу на авторизацию через браузер и подвисает программа, окна не закрываются, только завершение через процессы.
    На других сайтах сайтах все норм и до этого все работало, в какой момент перестало работать не знаю.
     
  9. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Здравствуйте! Заметил такую проблему:
    Парсинг через стандартный CRON. Система WinServer 2019. Последняя версия программы (11.1.1711150 от 30.04.2021)
    В настроенном проекте есть данные, которые сохраняются через DOCNAME и PARAM и далее идет отправка по FTP. На текущий момент в проекте в PARAM попадает 2 названия: "Эверест" и "Еко-маркет".
    Сначала идут ссылки со словом "Эверест" (90+ ссылок), и после со словом "Еко-маркет" (обычно меньше 5 ссылок).

    Периодически происходит так, что при работе по CRON, загрузка на FTP отрабатывает раньше, чем проект заканчивает обработку/завершает работу со всеми ссылками. При этом, файл с названием "Еко-маркет" отправляется на FTP либо неполным (т.к. CD видимо попросту не успевает записать данные в файл), либо не отправляется вообще (по той же причине с записью файла).

    Но при этом, сам файл записывается корректно. Но вот отправка именно последнего файла на FTP либо идет неполная, либо вообще не попадает.
    upload_2021-5-12_22-40-26.png


    Если я правильно понимаю, это происходит примерно за 1-2 ссылки до отправки данных на FTP.

    P.S. Не могу выловить этот момент когда происходит эта ошибка, так бы записал видео с фактом демонстрации. Возможно из-за того, что RDP-соединение закрыто. При открытом RDP-соединении и попытках это записать - все получается и ошибка не появляется. Также, при запуске проекта вручную - такой проблемы нет, все данные отрабатывают и попадают на FTP
    P.S.S. Может, сделать какую-то задержку в 1-2 секунды перед загрузкой на FTP? Например по стандарту или в настройках программы?
    P.S.S.S. Это объяснить было очень сложно. Могу попробовать продемонстрировать и пояснить по скайпу проблему при необходимости, если не до конца понятно.

    _____

    UP: попытался сделать костыль через [ADDFINALDOCUMENT] в таком формате
    Думал, что может будет дообрабатывать (до записывать) данные вовремя, но к сожалению, не помогло, проблема осталась.

    _____

    UP2: заметил вот что: при запуске данных по CRON - количество потоков становится вдвое больше, чем изначально было записано.
    upload_2021-5-13_1-58-37.png

    При этом, когда список ссылок заканчивается и завершаются потоки, они уходят не до нуля, как им и положено быть, а в минус.
    upload_2021-5-13_2-5-31.png
    И в тот момент, когда потоки пересекают значение нуля и почему-то уходят в отрицательное значение, происходит загрузка на FTP (при этом, файлы до конца не сформировались).

    Все это происходит только при запуске по CRON (стандартный планировщик задач).
    При запуске вручную - проблем не возникает.

    _____

    UP3: Добавил в проект макрос [MORE_THREADS] вместе с [DOITATFIRSTDOC] - странно, но помогло.
    Костылем, но вопрос все же закрыт.
     
    Последнее редактирование: 13 май 2021
  10. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    В который раз не работает поиск-замена.
    [NEXTPAIR] сносится напрочь или любой знак на его месте

    "text-link"|item-text"
    <span class="{skip}item-text">|[VALUE]:
    <span class="{skip}item-label">|[NEXTPAIR]

    Код:
    <li class="table-properties__item">
    <span class="table-properties__item-label">Артикул</span>
    <span class="table-properties__item-text">DER</span>
    </li>
    <li class="table-properties__item">
    <span class="table-properties__item-label">Производитель</span>
    <span class="table-properties__item-link">
    <a href="/catalog/brands/dte/" class="text-link">Woodpecker/DTE (Китай)</a>
    </span>
    </li>
    <li class="table-properties__item">
    <span class="table-properties__item-label">Вес</span>
    <span class="table-properties__item-text">1.31 кг</span>
    </li>
    Код:
    [VALUE]:DER
    
    
    [VALUE]:Woodpecker/DTE (Китай)
    
    
    
    [VALUE]:1.31 кг
    
     
  11. Achronis

    Achronis Well-Known Member Пользователи

    Регистрация:
    30 июл 2020
    Сообщения:
    64
    Город:
    Барнаул
    Здравствуйте.

    Всё работает верно, исходя из правила поиск/замены: <span class="{skip}item-text">, берется первое вхождение <span class=", {skip} - пропускает всё, до первого вхождения item-text">.
    Скриншот для наглядности: 2021-06-22_03-32-02.png .

    Для построчной обработки данных используйте параметр [LINEMODE].


    Так же, если вы хотели использовать выше представленное вами правило поиск/замены для автоматического парсинга характеристик [DYNAMICVALUES] - то оно не будет работать. Ссылки недоступны для гостей

    Для данного кода, вы можете использовать
    Код:
    </span>{br2}<span class{skip}>|[VALUE]:
    </li>|[NEXTPAIR]
    {htmldecode}
    <{skip}>|
     
    Root нравится это.
  12. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    211
    Здравствуйте!

    Шаблоны которые сделаны на версии 1111711150 открываю на версии 1111711178 и кодировка не подтягивается. upload_2021-6-29_14-48-15.png
     
  13. Masster

    Masster New Member Пользователи

    Регистрация:
    28 апр 2021
    Сообщения:
    18
    Добрый день!
    Сегодня наблюдаю такую картину при парсинге с прокси - Ссылки недоступны для гостей
    Подскажите, что это, и как с ним бороться?
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Это окно вывел браузер из нижней части окна задания границ парсинга. Заполните данные в появившуюся форму и задайте границы парсинга. Сам браузер при парсинге не участвует (участвует только при задании границ парсинга).
     
  15. Masster

    Masster New Member Пользователи

    Регистрация:
    28 апр 2021
    Сообщения:
    18
    Спасибо. Не знаю какие данные заполнять в форме - имя и пароль от чего? Настраиваю границы парсинга без прокси, а потом уже парсю с ними - так работает.
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Имя и пароль от прокси.
     
    Masster нравится это.
  17. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Здравствуйте!
    Некорректно работает макрос {CFILTER} внутри Повторяющихся границ в конструкции с {MATCH} и {MATCHLIST}.

    Настроены 2 абсолютно одинаковых границы парсинга (<CD_GRAN_1!> и <CD_GRAN_2!>). В одной из них ( <CD_GRAN_2!> / [GRAN2] ), настроена встроенная функция поиск/замены (ctrl+4), где вставлена подобная конструкция

    Код:
    {JSONDECODE}|
    [PURGE]|[ENGLETTERS][NUMBERS] ,+-=!`~@#$%^&*()_"№;:?[]}{'./\<>
    Предположим, что в значении границ парсинга <CD_GRAN_1!> и <CD_GRAN_2!> попадает слово "ЗамокZamok"

    По логике, при такой конструкции
    Код:
    {CFILTER}[GRAN1]{MATCH}[GRAN2]{/CFILTER}
    Макрос должен выдавать подобную картину, и фильтровать её
    Код:
    {CFILTER}ЗамокZamok{MATCH}Zamok{/CFILTER}
    Фразы не совпадают, однако фильтрация (удаление) - не происходит
     
  18. mat

    mat New Member Пользователи

    Регистрация:
    8 май 2010
    Сообщения:
    63
    Не баг
     
    Последнее редактирование: 27 авг 2021
  19. nail

    nail Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    60
    Не знаю даже, куда написать - в БАГи сюда или в ветку предложений развитие.
    Проблема с макросом [GETTAGDATA] при парсинге категорий XML/YML файлов такого формата:
    Код:
    <categories>
    <category id="20450" parent_id="26734"><![CDATA[Скамьи для пресса]]></category>
    <category id="20451" parent_id="20444"><![CDATA[Инверсионные тренажеры/Растяжка]]></category>
    <category id="24547" parent_id="24424"><![CDATA[Вытяжки]]></category>
    <category id="20452" parent_id="26734"><![CDATA[Скамьи для жима]]></category>
    <category id="24548" parent_id="24424"><![CDATA[Холодильники]]></category>
    <category id="20453" parent_id="20444"><![CDATA[Стойки и рамы для приседов и жимов]]></category>
    <category id="24549" parent_id="24424"><![CDATA[Плиты]]></category>
    <category id="20454" parent_id="20444"><![CDATA[Аксессуары для тренировок]]></category>
    <category id="24550" parent_id="24424"><![CDATA[Посудомоечные машины]]></category>
    <category id="20455" parent_id="22121"><![CDATA[Ловушки и отпугиватели змей и грызунов]]></category>
    <category id="24551" parent_id="24424"><![CDATA[Стиральные машины]]></category>
    <category id="24552" parent_id="24424"><![CDATA[Морозильные камеры]]></category>
    </categories>
    
    Когда блок <categories>...</categories> состоит из нескольких десятков и сотен тегов <category> - то парсинг-разборка такого файла становится долгим.

    При парсинге больших XML/YML файлов - делю их на более мелкие. Но все-равно из-за GETTAGDATA - парсинг одного файла идет очень долго часами. Без него - несколько минут или десяток минут.

    Может надо сделать опцию какую-то, чтобы распарсить сперва 1 раз этот блок в таблицу - в которой у каждой категории будет указан столбец с родительскими категориями. А потом уже при разборе каждого разбитого XML из тега offer вытаскивать category_id и брать всю иерархию категорий оффера в обработку. Так должно быть на порядки быстрее. Чем каждый раз для каждого оффера GETTAGDATA будет обходить этот блок категорий для разбора.
     
  20. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    В CSV редакторе функция слияния двух таблиц, при наличии пустых ячеек в эталонном столбце и в добавляемых столбцах - пустые ячейки заполняются всякой ерундой, хотя не должны ничем заполняться.
     

    Вложения:

Поделиться этой страницей