Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.356
    Хорошая идея, например использовать макрос который равен указанному в "Сохранение результата", далее использовать во всех путях настройки C.D. (сканер, шаблон вывода)
     
    xLime, Trim, Dumka и 2 другим нравится это.
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.501
    Приветствую.
    С последним обновлением в макрос BREADCRUMBS стал автоматически удалять теги <cat1>Категория1<cat2>Категория2<->
    Можно добавить галочку для этого макроса, чтоб можно было включить/отключить это автоматическое удаление, т.к. мы его используем для фиксированного разделения чего либо, чтоб не применять повторяющиеся границы.
    У меня сотни проектов настроены на такое разделение, теперь после обновы у всех перестанет работать.
    т.е. лучше чтоб оно вообще было выключено по умолчанию, а если очень нужно то можно было включить.
    Вот мне очень интересно, это кому так необходимо то было?
     
    inotoxic нравится это.
  3. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.105
    Город:
    Сочи
    А ничего, что я его не трогал уже давно. Причем тут последнее обновление.

    Приложите проект и опишите, какой результат должен быть.
     
  4. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    160
    Здравствуйте, было бы отлично в общих настройках программы добавить галочку с лога парсинга "записывать ссылки не сохраненных элементов в файл"
    доработка очень мелкая и не знаю стоит ли времени Сергея и нужна ли кому то , кроме меня ))
     

    Вложения:

  5. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.105
    Город:
    Сочи
    Здравствуйте.

    Поясните, для чего эту опцию туда переносить?
     
  6. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    160
    в начале каждого проекта я ставлю там галочку чтоб видеть какие ссылки не спарсились в конце парсинга
    думаю было бы хорошо если бы поставить галочку в общих настройках и забыть
     
    inotoxic нравится это.
  7. AlexandrSorokin

    AlexandrSorokin New Member Пользователи

    Регистрация:
    27 ноя 2018
    Сообщения:
    23
    Город:
    Пермь
    Предлагаю при сохранении сделать всплывающее окошко "Сохранено 15:40 22,12,2018". Например, справа внизу. И которое само исчезает через несколько секунд.
    Чтобы при сохранении не целиться на маленькую кнопку, чтобы закрыть уведомление
     
  8. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.105
    Город:
    Сочи
    2018-12-22_14-00-38.png
     
  9. AlexandrSorokin

    AlexandrSorokin New Member Пользователи

    Регистрация:
    27 ноя 2018
    Сообщения:
    23
    Город:
    Пермь
    Имею ввиду не окошко посередь экрана, которое нужно закрывать при каждом сохранении, а просто уведомление, которое само закрывается через секунд 5
     
  10. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.105
    Город:
    Сочи
    Чтобы не целиться нажмите Enter при появлении оповещения. Оповещение при этом закроется.
     
    AlexandrSorokin и Dron25 нравится это.
  11. DAV

    DAV New Member Пользователи

    Регистрация:
    22 дек 2018
    Сообщения:
    1
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  12. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.105
    Город:
    Сочи
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    DAV нравится это.
  13. AlexandrSorokin

    AlexandrSorokin New Member Пользователи

    Регистрация:
    27 ноя 2018
    Сообщения:
    23
    Город:
    Пермь
    Предлагаю сделать опцию "Сколько окон программы запустить"
    Часто 1 парсер долго собирается и нужно запустить второе окно.
     
  14. ttimbaland

    ttimbaland Member Пользователи

    Регистрация:
    8 окт 2014
    Сообщения:
    16
    Screenshot_2.png Screenshot_2.png

    Привет всем) Ну раз Сергей научил wb-app находить цвет пикселя и передавать координаты (x,y), то осталось немного до нейронной модели распознавания изображений Content Downloader-ом=))

    Краткое вступление

    Когда я Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! и был молод, любил на lua писать всяких ботов для игр, поэтому по памяти попытаюсь произвести порядок действий по нахождению пикселей и интерпретировать сюда...
    Очень сложно сделать наш любимый софт CD еще лучше, но я попытаюсь и не судите строго, ведь мы хотим сделать мегакомбайнер =)
    В прошлый раз я заикнулся про свою маньячную идею с распознаванием цвета пикселей, все поржали, не прошло недели и Серега внедрил)Может так совпало, но я оценил и огромный респект)


    1. не хватает фильтров библиотеки imagemagick.org, для начала хватит и GRAYSCALE
    [​IMG]
    Если интересно - инфы полно, с нуля о возможностях можно и на Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! ...


    2. макроса для поиска заранее известных координат на обрабатываемой картинке x,y вида "getcolor"
    Ищем на картинке белый цвет пикселя по координатам (100,200), далее накладываем свою картинку в зависимости от выполнения условий.
    Для примера вводим макрос поиска определенного цвета на всей области картинки - findColor, (можно и findColors впоследствии для нахождения целого массива точек цвета пикселей)
    и макрос возвращаемого значения по заданным координатам getColor, который дает нам либо true либо false...
    Имеем тучу картинок на входе и ставим задачу нахождения белого цвета
    16777215---цвет white (десятичное число)

    1. находим присутствие белого пикселя на картинке
    2. если true делаем проверку белого пикселя по определенным координатам x,y
    false переходим к следующему и т.д.

    [VAR]
    [SET:color1]findColor(16777215)[/SET]
    [SET:whitecheck] getColor(100, 200)[/SET]
    [/SET]
    [/VAR]

    ---Вспоминаем конструкцию в CD вида - [IF1][LOGIC]((5>3) or (5>=3)) and (3=3)[THEN]да[ELSE]нет[/IF1]---------------

    if color1 == 16777215 and
    whitecheck == 16777215... then [procset1]
    else
    [procset2]
    ...
    end


    Многие скажут есть софт типа Batch, php методы и т.д., Ну и далеко с ними кто-нить уехал по распознаванию пикселей и выполнения определенного набора действий (когда у вас +100500 картинок с разными ватермарками слева сверху снизу сбоку?Я видел ветки по AutoIT и то ковырять его надо будь здоров, чтобы либы заработали, видел зенопостерское, но очень поверхностный разбор...
    Да и мой любимый софт CD и парсю магазы именно с ним, и обработка картинок в CD делает его еще круче для конечного результата, кто то не согласен? давайте подискутируем, взвесим все за и против, но мое дело предложить)

    Cледующим этапом - хочу интеграцию Алисы Яндекса и Content Downloadera ...
    Разговор с колонкой:
    "Алиса спарси топ 10 гуля по запросу "Почему Content Downloader лучший парсер в мире и рунете?", как закончишь - свари кофе...
    "Да босс! Запускаю CD-р, вам в каком формате ?"...
    ...Ну, а пока Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! .

    Продолжение следует, все устал, много букаф писал...=)
     

    Вложения:

    kagorec и Root нравится это.
  15. One_is_All

    One_is_All New Member Пользователи

    Регистрация:
    20 дек 2018
    Сообщения:
    6
    Что хочется пожелать в Новом году, больше вдохновения, времени, сил и упорства. В софте есть интересный раздел "Планировщик", гибкий по функционалу, но для пущего комбайна, это "Автопостинг по расписанию", 1)сверяет данные с веб-докум. или прайс листом, на предмет соответствия/изменения данных и в случае поправки данных, принимал изменения и отображался в нужном нам месте. 2)выбирать файлы для автопостинга из указанной папки (внутри лежат подготовленные файлы (htm,cvs,exl, xml)). Как идея, думаю имеет место жизни, в целом как полный комбайн для масштабных планов. Всех с Наступающим! Спасибо!
     
    kagorec и Root нравится это.
  16. ttimbaland

    ttimbaland Member Пользователи

    Регистрация:
    8 окт 2014
    Сообщения:
    16
    С наступающим всех ребзя,пусть в 2019 ваши желания сбудутся с вероятностью не меньше чем 0.93, больше думайте, старайтесь не тупить: используйте XOR, избегайте альтернативных методов ELSE в прогнозах вычислений для уменьшения регрессии погрешностей прогнозов по ветке END...все сбудется и без нейронных методов, просто найдите свою идеальную формулу счастья в НГ! ;)

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
    Последнее редактирование: 31 дек 2018
    kagorec и Root нравится это.
  17. furiec

    furiec Member Пользователи

    Регистрация:
    24 дек 2012
    Сообщения:
    53
    С новым годом Сергей!!! И всех с НГ 2019!!!
    Есть небольшая просьба по доработке в будущем году.
    Сейчас при запуске парсинга в случае если не было спаршено ни одного документа, (например все отфильтровано функцией исключения повторного парсинга) не происходит выполнения скрипта после парсинга. Для некоторых проектов это очень критично, например когда нужно запустить другую программу которая постит и она в свою очередь после постинга должна запустить следующий проект контент даунлоадера. Тут задача не решается встроенным планировщиком и было бы прекрасно иметь возможность, изменить поведение программы по умолчанию.
    Всем мира и добра в новом году а так же душевного спокойствия!
     
    ttimbaland, kagorec и Root нравится это.
  18. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.105
    Город:
    Сочи
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2019-01-02_01-47-11.png
     
    furiec, drvoodoo, xLime и ещё 1-му нравится это.
  19. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.501
    Просьба добавить [INT_ID3] который будет обрабатываться после REPLACE, ну и сброс для него
     
  20. Koly22

    Koly22 New Member Пользователи

    Регистрация:
    24 янв 2019
    Сообщения:
    4
    Город:
    Хабаровск
    А можно сделать так, чтобы в редакторе кода при задании границ и вообще в любом месте, где идет работа с хтмл-кодом страницы этот код подсвечивался разными цветами для удобства и быстроты восприятия, как в любом нормальном редакторе?
     
    strateg2010 нравится это.

Поделиться этой страницей