Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Alex0690

    Alex0690 Member Пользователи

    Регистрация:
    4 ноя 2018
    Сообщения:
    4
    Город:
    Moscow
    Благодарю, теперь всё в порядке!
    Отдельное спасибо за подсказки в ответе!
    С наступающим!
     
    Root нравится это.
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Доброго времени!
    Можно ли в вкладке Ссылки, сделать функцию отключения перехода на новый урл при "не найдено новых ссылок"
    Наглядный пример: сбор ссылок происходит по всем категориям, но 1 товар может быть во многих и если использовать {num:1,1} то при "не найдено новых ссылок" он просто переходит на другой урл, но если нагенерировать просто ссылок то мы получаем вот такую картину
     

    Вложения:

  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В таких случаях используется Сканер сайтов.

    Проект приложил.

    Достаточно сюда ввести список ссылок на рубрики (построчно) и запустить сканер.

    2022-12-28_22-38-53.png
     

    Вложения:

  4. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    [​IMG]
    [​IMG]
    Хочу скины для Content Downloader как в PUBG и в контре для оружия.
     
  5. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    263
    празднование НГ прошло успешно :D
     
    Alex0690, kagorec, Root и ещё 1-му нравится это.
  6. seva100

    seva100 Member Пользователи

    Регистрация:
    29 мар 2018
    Сообщения:
    38
    Добавить возможность копирования версии продукта при клике мышкой в окне "О программе".

    Для публикации вопроса на форуме иногда уместно сообщить об используемой версии программы. Что бы не набирать руками 10 цифр, просьба добавить с строке "Версия продукта:" функционал аналогичный строке "Ваш код активации:".
     
    kagorec, Root и vadimsoloviev нравится это.
  7. seva100

    seva100 Member Пользователи

    Регистрация:
    29 мар 2018
    Сообщения:
    38
    Предлагается добавить настройку проекта – "запускать проект с вкладки Контент (Ссылки)".

    Имея несколько десятков проектов, одни из которых должны запускаться с вкладки "Ссылки", а другие с вкладки "Контент" и запуская их через Планировщик, бывает ситуация, когда сохраняешь проект не на той вкладке, с которой он должен стартовать. И тогда работа планировщика насмарку. Работая в проекте, приходится постоянно помнить и обращать внимание на какой вкладке сохраняешь проект. Это напрягает. Данная опция позволит избежать человеческий фактор.
     
    kagorec, vadimsoloviev и Root нравится это.
  8. seva100

    seva100 Member Пользователи

    Регистрация:
    29 мар 2018
    Сообщения:
    38
    Опция использования связки фильтров [Фильтр1 И Фильтр2] или [Фильтр1 ИЛИ Фильтр2].

    Тип фильтрации "поиск слов(а)" позволяет быстро настраивать список отдельных слов и их словоформ применяя символ "*". Однако, если необходимо искать словосочетание и его словоформы (например, "железная дорога" | "железной дороги", но не "железный контейнер везли по дороге"), то только подходит метод фильтрации "регулярные выражения". И тут усматривается необходимость ведения второго сложного (использование регулярных выражений) списка. Имея два списка хотелось бы иметь возможность использовать конструкцию [Фильтр1 ИЛИ Фильтр2]. Конечно, можно и отдельные слова описывать регулярными выражениями, но, во-первых это чуть сложнее, а во-вторых реализация данного предложения добавит гибкости программе.
    v. 11.1.1711801
     
  9. seva100

    seva100 Member Пользователи

    Регистрация:
    29 мар 2018
    Сообщения:
    38
    Здравствуйте.

    Есть потребность использования в настройках проекта не только полных путей к файлам, но и относительных (относительно расположения файла проекта).

    Это касается:
    • Вкладка "Сылки", поле "Записывать найденные ссылки в файл".
    • Вкладка "Контент", поле "Сохранение результата".
    • Вкладка "Контент", окно "Фильтрация элементов (ctrl+t)", поле "файл с загруженными ранее ссылками".
    • Вкладка "Контент", окно "Настройка функции фильтрации документов по списку ключевых слов (shift+ctrl+f)", вкладки "Фильтр 1", "Фильтр 2", поле "и/или использовать введенный список ключевых выражений", конструкция "[FILE]C:\PathToProject\KeyWord.csv[/FILE]".
    • Вкладка "Контент", окно "Загрузка ссылок перед парсингом (shift+ctrl+u)", поле "Загрузка элементов списка ссылок перед запуском парсинга…".
    и прочие поля в которых указываются (могут указываться) полные имена файлов.

    Например, есть десяток проектов, которые собраны в одной тематической папке. Имя папки допустим "c:\CD Project Tema 1". В каждом проекте включена опция "загрузка ссылок перед парсингом", в которой приводится ссылка на файл, лежащий рядом с проектом. Например: имя файла проекта "c:\CD Project Tema 1\proj1.cdp", имя файла ссылок "c:\CD Project Tema 1\proj1.lnk.txt". Если мне необходимо скопировать или перенести несколько проектов в другую папку, то после копирования приходится заходить в каждый проект и менять путь к файлу на новый (про инструмент массовой контекстной замены в текстовых файлах с помощью Notepad++ знаю, для его применения надо помнить/находить название имен параметров, которые подлежат замене).
    При использовании относительного пути ссылка на файл была бы такой: "proj1.lnk.txt", или такой "\links\proj1.lnk.txt", или такой "..\links\proj1.lnk.txt".

    Для чего это нужно.
    1. Проект по парсигну конкретного сайта я могу использовать в разных сценариях (разные папки с разным набором проектов) разных планировщиков. В этом случае, один раз настроил проект и потом скопировал файлы проекта в необходимые папки с пакетами (сценариями) проектов.
    Пример для понимания структуры папок и файлов:
    - Имя папки пакета Х
    -- имя файла проекта 1
    -- имя файла ссылок проекта 1
    -- имя файла проекта 2
    -- имя файла ссылок проекта 2​
    - Имя папки пакета Y
    -- имя файла проекта 10
    -- имя файла ссылок проекта 10
    -- имя файла проекта 20
    -- имя файла ссылок проекта 20​

    2. При обновлении программы заметил, что что то перестает работать в проект(е/ах). Что бы не прерывать ежедневный автоматический парсинг по планировщику, рабочая папка пакета с проектами дублируется в новую папку для новой версии и там отлаживается. И только после этого перенастраивается планировщик на работу с новой версией программы и проектов.

    3. При описании проблем работы с программой бывает необходимо выложить файл проекта на форум. Но проекты бывают сложные (много настроек). Что бы упростить понимание сути проблемы копирую проект в отдельную папку, перенастраиваю пути к файлам и прочие пути, убираю все лишнее (чищу шаблон вывода), оставляю только суть. Так вот правка путей могла бы и не делаться при использовании относительных путей.
     
  10. xVladislav

    xVladislav New Member Пользователи

    Регистрация:
    10 янв 2018
    Сообщения:
    16
    Город:
    Новокузнецк
    Добрый день, работаю с ноутбука, на нем нет "клик колесом мыши".
    Можно добавить сочетание клавиш (модификатор+ЛКМ или ПКМ) на действие "Просмотреть страницу в интернете"?
    Например Ctrl Alt ЛКМ.
     
  11. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    На большинстве ноутбуков есть эта комбинация на тачпаде. Или она настраивается (в настройках тачпада, обычно настройки появляются после установки драйвера). У меня например это касание 3-мя пальцами.
    Также в win10 это настраивается стандартно в настройках сенсорной панели Ссылки недоступны для гостей
     
    seva100 и Root нравится это.
  12. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    [​IMG]
    Интересно а почему регулярное выражение re:\w|\L$0 не работает как должно?
     
  13. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    [​IMG]
    В новой версии программы хотелось бы получить возможность удалять открытые проекты по отдельности. Получить возможность закреплять избранные проекты, задавать количество видимых строк с ними.
    А также снять галочку по умолчанию с опции: Предлагать сохранять текущий проект при загрузке другого.
     
    Root нравится это.
  14. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Добавьте, пожалуйста, работу генерацию ссылок для вкладки контент, когда заранее не известно кол-во страниц, как это работает для сбора ссылок
    {num:a,b}
    Нужно, например, когда собираешь данные со страниц каталога повторяющимися границами.
     
    Root нравится это.
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Услышал.

    PS: Для решения таких задач сейчас успешно практикуется использование макроса [ADDURL].

    Код:
    [ADDURL]{ADDCOUNT}1{/ADDCOUNT}ССЫЛКА[/ADDURL]
    Где в качестве ССЫЛКА может быть использована граница парсинга и/или любые другие данные для формирования URL следующей страницы.
     
    Vitaliy_S нравится это.
  16. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    Макрос <CD_DOCURL!> выполняется после <GETMORECONTENT>
    а <GETMORECONTENT> должен парсить по измененной ссылке <CD_DOCURL!>
    [FIRST_REPLACE(|)] выполняется после обоих упомянутых макросов, то есть никак не получится изменить исходную ссылку <CD_DOCURL!>
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Не понимаю, откуда берутся такие выводы.

    Все работает, как и должно.

    2023-01-23_05-16-07.png
     

    Вложения:

  18. Avem

    Avem Member Пользователи

    Регистрация:
    30 дек 2020
    Сообщения:
    35
    Здравствуйте друзья.
    Хотел предложить улучшение (на мой взгляд) парсера прокси адресов. В данный момент программа может брать файл или вытягивать список прокси из одного урла. Хотел предложить сделать так чтобы можно было бы например указать текстовый файл с пятьб или дестком адресов где лежат прокси и чтобы они все добавились. Ещё здорово было бы если бы можно было сдвленные записи удалять например если в спаршенном списке находятся прокси которые уже присутствуют то они игнорирутся.
    Благодарю за внимание.
     
    Vitaliy_S, vadimsoloviev и Root нравится это.
  19. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    [​IMG]
    [​IMG]
    Нужен функционал по реорганизации и копированию границ с зажатой клавишей alt как это реализовано в фотошопе.
     
    Последнее редактирование: 29 янв 2023
  20. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Добавить в ЛОГ фильтр по столбцам, чтобы можно было быстро отфильтровать по статусу, адресу или другому полю.
    Также сейчас если сделать экспорт в CSV то в столбце Статус, если данные не загружены (по фильтру или по обязательному полю), то передается какое-то число.
    Ниже скрины с ЛОГа в программе и после экспорта
    upload_2023-1-30_9-3-34.png
    upload_2023-1-30_9-4-11.png
     
    kagorec, Alex0690, Dron25 и 2 другим нравится это.

Поделиться этой страницей