Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Rosbiz

    Rosbiz Member Пользователи

    Регистрация:
    10 ноя 2016
    Сообщения:
    14
    Приветствую. У меня такое предложение. Добавить возможность массовой проверки ответа сервера в окно со списком ссылок.
    Сталкиваюсь часто с ситуацией когда при парсинге карты сайта интернет магазина часть ссылок на товары битая. отдает 404 или иную ошибку.
    Возможно такая функция уже где то есть но я не нашел.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Используйте макрос шаблона вывода [RESPONSECODE].
     
  3. Blolk

    Blolk New Member Пользователи

    Регистрация:
    26 авг 2018
    Сообщения:
    18
    Город:
    Могилев
    Добрый день. Есть предложение добавить в "Инструмент разделения больших файлов" возможность записывать "подвал XML" в каждый полученный файл наряду и с "шапкой XML".
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 16 постов.**
    2020-01-13_23-13-15.png
     
    kadishev1997, kagorec и Blolk нравится это.
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Сергей, прошу не вносить данные изменения в программе на основе одного желающего. Уже пару лет как все пользуемся со стандартным указанием кодировки сохраняемого документа и не было особых важных причин снова менять. Стоит отметить что ранее уже было предложено указать UTF-8 без BOM после чего так и осталось. Эта та мелочь которую лучше оставить как есть, кому надо будет - выберут нужную кодировку.

    п.с. kadishev1997, ничего против вас не имею. ;)
     
    Dron25, kadishev1997 и Root нравится это.
  6. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Kagorec, не обратил внимание что это есть в настройках программы)
    Менять не стоит, вопрос закрыт)
     
  7. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    в WBAppCEF в открытом JS Manager (ctrl+j) добавить функцию, которая будет копировать все созданные глобальные скрипты, которые находятся в опредедленной папке в открытый проект (Примерно в таком формате как на фото), возможно даже с самой папкой
    upload_2020-1-14_11-37-25.png
     
  8. Rosbiz

    Rosbiz Member Пользователи

    Регистрация:
    10 ноя 2016
    Сообщения:
    14
    Спасибо! К сожалению не нашел в справке этот макрос.
    Можно по нему где то почитать документацию?
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    [​IMG]
     
  10. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    263
    Приветствую, возможно ли сделать в макросе DELTAGS параметр/список в котором можно задавать название доменов на сайты, которые нужны
    например: удалить теги ссылок "a" но оставить их если ссылка ведет например на домен youtube
     
    Root, kagorec, kadishev1997 и ещё 1-му нравится это.
  11. green

    green Active Member Пользователи

    Регистрация:
    25 окт 2017
    Сообщения:
    75
    Поддерживаю.. сегодня была у меня такая задача
     
    Root и kagorec нравится это.
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Поддерживаю, например статья с wikipedia ссылками или еще на очень известный ресурс на которые надо оставить ссылки но удалить на другие.
     
    Root нравится это.
  13. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    Предлагаю развить загрузку прокси с любого сайта. Например парсит прокси перед запуском не из txt, а регуляркой с любой предложенной страницы. А лучше с нескольких страниц.

    Вот регулярка
    re: (\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}:\d{1,5})
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Возможность применять поиск-замену к коду загруженного документа есть.

    2020-01-16_01-43-25.png
     
    sten30 нравится это.
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 33 постов.**
    Код:
    [DELTAGS:A(Href=Aa/|href=777),br,p]<a HREF="aA"></a>
    <A href="777"></a>
    <a href="123"></a>[/DELTAGS]
    В скобках после нужного названия тега пишется следующее:
    (Href=Aa/|href=777)
    Тут видим два параметра, разделенных символом |.
    Href - имя параметра тега
    Aa - вхождение в параметре тега
    Символ / показывает, что нужно искать закрывающий тег и его тоже не удалять.

    Если потребуются более подробные пояснения, напишите.

    Протестировать пока не успел.

    Хорошо бы отписаться по результату.
     
    Dron25 и kagorec нравится это.
  16. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    263
    Добрый день
    Спасибо, работает, я пробовал только на ютуб ссылки
     
    Root нравится это.
  17. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    В WBAppCEF добавить функцию, которая будет сохранять разную авторизацию для разных проектов одного сайта.
    Например, есть один сайт (для понимания возьмем Ozon), и разные проекты к нему. На одном проекте, должен стоять город Москва и Пользователь1, а на другом - Питер и Пользователь2. При открытии разных проектов на один и тот же сайт на текущий момент сохраняется одна авторизация (например Москва и Пользователь1), и эта же авторизация применяется ко второму проекту.
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Ссылки недоступны для гостей
     
    kadishev1997 нравится это.
  19. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Добрый день, предлагаю добавить возможность "замаски" простых водяных знаков, пример:
    [​IMG]
    Указать координаты (по типу с обрезкой верх-низ-лево-право Ctrl+Shift+I), размер замазки и просто что бы допустим красил в белый цвет.
     
    Root нравится это.
  20. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    В главном окне программы при парсинге добавить функцию, которая будет показывать время, которое прошло и время, примерно которому осталось парсить в днях (например не 100 часов прошло/до завершения, а 4 дня и 4 часа)
     

Поделиться этой страницей