Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Для работы с CSV файлами используйте LibreOffice. MS Excel не подходит для этого.

    Если MS Excel вам все таки необходима для работы (Макросы VBA, какие-то сложные формулы), то попробуйте использовать специальную функцию импорта - по ссылке ниже статья с описанием.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    В качестве альтернативы попробуйте открыть CSV файл в LibreOffice и с помощью copy/paste добавьте данные в Excel, или сохраните в формате XLS.
     
    kagorec нравится это.
  2. pompey

    pompey New Member Пользователи

    Регистрация:
    27 янв 2015
    Сообщения:
    20
    Спасибо! Не замечал..
     
  3. lisa999

    lisa999 New Member Пользователи

    Регистрация:
    22 дек 2012
    Сообщения:
    20
    Хотелось бы иметь макрос в шаблоне вывода который удаляет coocie из internet explorer (на сколько я знаю - парсер ведь его использует). Это вот для чего нужно.
    Встречалось такое, что в функционале сайта заложено ограничение на скачивание количества файлов. К примеру 100 для одного авторизированного юзера в сутки. Если выйти из аккаунта в котором исчерпал лимит на скачивание и зайти под другим аккаунтом, то скачивать файлы так же не получится. Сайт как то палит по кукисам количество скачиваний. Спасает лишь удаление кукисов из IE сразу после выхода из аккаунта. После этого авторизуешься под другим акком и вот тогда можно скачивать по лимиту еще раз.
     
    Root нравится это.
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Функции программной очистки Cookie для IE нет.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Изучать присваивание expiration dateexpiration date для куки в Internet Eplorer тоже нет желания.

    Сделал макрос [CLEAR_IE_CACHE] (очистка всего кеша Internet Explorer). Насколько я понимаю, он удаляет весь кеш браузера вместе с файлами куки (НО не затрагивает куки сессии, когда вы залогинены на сайте).

    Если вы сделаете выход из логина на сайте, вызовите макрос шаблона вывода [CLEAR_IE_CACHE], а затем снова залогинитесь, думаю, это решит ваш вопрос.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 19 постов.**
    После тестирования нужно отписаться, что решение помогло, иначе этот макрос не попадет в релиз.
     
    xLime и kagorec нравится это.
  5. lisa999

    lisa999 New Member Пользователи

    Регистрация:
    22 дек 2012
    Сообщения:
    20

    Спасибо Вам, протестировал.

    Использую в шаблоне вывода простейшую схему

    [DFN]<CD_GRAN_13!>[/DFN]
    <DOWNLOADFILE><CD_GRAN_12!></DOWNLOADFILE>

    [IF1]4=[INT_ID][THEN][CLEAR_IE_CACHE][/IF1]
    [IF1]4=[INT_ID][THEN][STOP_IF_BANNED][/IF1]

    И вот что выходит.
    Почему то при нахождении макроса [CLEAR_IE_CACHE] в шаблоне при старте парсинга сразу же слетает авторизация, хотя по идее условие IF1 не выполнено. Может я что то не так сделал.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вы не смотрите порядок выполнения макросов в логе окна предпросмотра результатов парсинга контента.

    Сделал, чтобы макрос [CLEAR_IE_CACHE] выполнялся после макроса [IF1]
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 20 постов.**
     
    xLime нравится это.
  7. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    28
    Здравствуйте. Есть ли возможность в редактор csv , в дополнительные функции обработки ячеек , макрос обратный макросу объединение строк - разделение строк. Пример: есть строка , в первом из столбцов(настройка в опциях макроса) данные разделенные каким-то символом(настройка в опциях макроса).Нужно чтобы при выполнении макроса размножал строку, а в первом столбце были одни из разделенных данных . Если плохо объяснил , не судите строго. Это очень нужный функционал, тк когда попадаются сайты с вариативными товарами и у товара динамические характеристики(не понятно сколько их) , засунуть в повторяющиеся границы , границу обрабатываемую dynamic values , не будет названий характеристик , + если еще будет скачивание картинок в других повторяющихся границах(картинок сохраняет одинаковых много) и приходится сайт парсить дважды, вначале характеристики на 1 ссылку 1 строка, потом вариации(цена-цвет-размер-артикул - ссылка ) - на одну ссылку несколько строк, а потом сопоставлять это все дело и прописывать кучу столбцов какой из первой таблицы во вторую подставлять(а их бывает и более 1000,приходится в екселе прописывать). Спасибо.
     
    Root нравится это.
  8. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Правильно ли я понимаю, что количество потоков для макроса <GETMORECONTENT> задается в основных настройках программы в секции "Загрузка WEB-документа"?

    С выходом WBAppCEF стала актуальна следующая настройка:
    (WBAppCEF поддерживает кэш (авторизацию) только при парсинге в 1 поток.)
    1) В 1 поток собираем информацию со страниц категорий.
    2) Передаем собранные параметры в GETMORECONTENT и получаем информацию о товаре библиотекой CIS (JSON или страница не требующая авторизации).

    Т.к. на странице категории может быть множество товаров, было бы неплохо иметь отдельную настройку многопоточности для GETMORECONTENT.
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2019-09-05_05-38-17.png
     
  10. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Спасибо, знаю про эту настройку, но количество потоков здесь не регулируется.

    Если в настройках "Загрузка WEB-документа" задать количество потоков = 1, то во сколько потоков будет вызываться GETMORECONTENT?
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    1
     
  12. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Feature request:
    Возможность задания количества потоков отдельно от основных для макроса GETMORECONTENT.
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Это навряд ли.
     
  14. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Improvement request:

    Сделать срабатывание макроса [WHAT] [MUSTBEINMACRO] после [VAR:%name%].

    Сейчас срабатывает макрос [MUSTBEINMACRO], а затем выполняется вставка переменной [VAR:%name%] (скриншот во вложении).
     

    Вложения:

  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Используйте макрос [VARF].
     
  16. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    В данный момент проект настроен таким образом, что результат выполнения [GETMORECONTENT] помещается в переменную [VARF]. Затем происходит обработка этих данных и помещается в переменную [VAR].
    На последнем этапе переменная [VAR] вставляется в качестве границы.

    Это не критично, но упростило бы чтение и работу с шаблоном вывода. Не вижу причин, почему [VAR] должен срабатывать после [MUSTBEINMACRO], т.к. последний макрос предполагает исключение всего шаблона из результата парсинга.

    Конечно, реализация на ваше усмотрение, т.к. проект довольно специфичный.
    Спасибо за быстрый ответ.
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 368 постов.**
     
    xLime нравится это.
  18. Dmitriy27035

    Dmitriy27035 New Member Пользователи

    Регистрация:
    12 авг 2019
    Сообщения:
    1
    Город:
    Киев
    Здравствуйте, хотелось бы при парсинге картинок иметь возможность не только обрезать ее по краям, отразить по горизонтали, добавить watermark Ссылки недоступны для гостей , но и добавить туда дополнительные функции, такие как повернуть изображение по/против часовой стрелки на n-ное количество градусов, увеличить/уменьшить яркость, контрастность
     
    Root нравится это.
  19. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Было бы здорово добавить к новой функции инструмента разделения больших файлов (XML/YML) загрузку XML/YML напрямую с интернета, а также добавить галочку "Заменить файл со схожим названием". (ну или еще добавить "Сохранить файл с нарастающим числовым значением" и "Отчистить папку", вариантов много)
    Вот тогда функционал для автоматизации парсинга будет увеличен в разы!
     

    Вложения:

    Root нравится это.
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 14 постов.**
     
    Dron25, xLime и kadishev1997 нравится это.

Поделиться этой страницей