Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
     
    Kreol и Igor нравится это.
  2. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    иконка называется - "скачать картинки"
     
  3. alexdicompany

    alexdicompany New Member Пользователи

    Регистрация:
    25 мар 2019
    Сообщения:
    10
    Доброго времени суток.
    Если возможно, доработайте пожалуйста в редакторе CSV файлов функцию объединения строк.
    1. Объединение данных в нескольких столбцах.
    2. Объединение данных по 2-м ключевым столбцам.
    В принципе все это делается вручную, но... зачем?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 3 постов.**
    2019-06-10_15-53-29.png
     
    Dron25 нравится это.
  5. alexdicompany

    alexdicompany New Member Пользователи

    Регистрация:
    25 мар 2019
    Сообщения:
    10
    Спасибо!
     
  6. AndreAndre

    AndreAndre New Member Пользователи

    Регистрация:
    26 май 2019
    Сообщения:
    2
    Доброе утро! Пока я спал, место на SSDшнике кончилось. И CD занимался ерундой с того самого времени. Было бы приятно если бы он останавливал парсинг в таких случаях.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
     
    kenny872012, Stan и gans нравится это.
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 300 постов.**
    2019-06-13_14-54-24.png
     
  9. alfo13

    alfo13 New Member Пользователи

    Регистрация:
    31 май 2019
    Сообщения:
    7
    Здравствуйте, мне очень не хватает функции проверки и стирания/фикса битых картинок на этапе парсинга, было бы круто поставить чекбокс и все битое джепегообразное между <img и > вычищалось. Но, так как бывает порой черт ногу сломит со всеми data-src lazy src-set и т.д. то хотя бы - просто иметь возможность все битые урлы 404 картинки подменять на свою одну (урл или файл) . например на 1 пиксельную "заглушку" чтобы норм смотрелось потом
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Ссылки недоступны для гостей
     
  11. Love-world

    Love-world Member Пользователи

    Регистрация:
    19 июл 2013
    Сообщения:
    102
    Здравствуйте. Очень не хватает в редакторе CSV больше отмен последнего действия (undo/Ctrl+z), сейчас возможно всего один раз отменить последнее действие, это бывает очень неудобно и приходится перезагружать файл и заново проделывать работу. Если это связано с большими затратами ОЗУ, можно ли сделать опционально для тех у кого достаточно ОЗУ?! Спасибо за ваш труд.
    p.s. Опция redo (Ctrl+Y/Ctrl+Shift+z) была бы супер полезной.
    А вообще было бы очень здорово создать "историю действий" по подобию Photoshop, чтобы наглядно видеть пошаговые изменения..
     
    Последнее редактирование: 16 июн 2019
    Dron25 и Root нравится это.
  12. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    Здравствуйте
    Если есть техническая возможность прошу добавить функцию удаления дублей строк в макрос SAVEHTMLTOFILE WBAPP или же аналог макроса DELSTRDUP в окно поиска/замены макроса GETHTML
     
    Последнее редактирование: 17 июн 2019
    Root нравится это.
  13. AlexS

    AlexS New Member Пользователи

    Регистрация:
    28 июн 2012
    Сообщения:
    56
    Было бы классно, если бы программа не делала повторы загрузки для страниц с кодом 404.
    То есть, при включенной галочке повтора загрузки и заданном количестве повторов 10, если программа встречает ошибку 500й серии, то повторяет загрузку 10 раз, а если встречает 404, то делает одну попытку и идёт дальше.
    Ещё круче было бы, если бы можно было настраивать, по каким маркерам в коде страницы, или по каким кодам ответов, загрузку не повторять.
     
    Root нравится это.
  14. AlexS

    AlexS New Member Пользователи

    Регистрация:
    28 июн 2012
    Сообщения:
    56
    Есть предложение добавить нумерацию границ парсинга, которая будет видна для всех названий границ, в окне всех границ парсинга (ctrl+1). В окне настройки шаблона вывода это есть, я знаю. Но часто бывает необходимо настроить повторяющиеся границы на контенте из обычных границ, а они все уже переименованы в обычные слова вроде "название", "фото", и приходится отсчитывать номер границы, которая мне нужна в качестве источника. Можно например всплывающую подсказку сделать, или поставить цифры рядом с галочкой инверсии. Ходить в шаблон вывода для получения номера границы не всегда удобно.
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Для каких целей вам нужно знать номер границы парсинга? Поясните.
     
  16. nail

    nail Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    60
    Если нет возможности добавить количество потоков для всех режимов - может можно это сделать только для режима RESPONSE?
    А то в 50 потоков медленно проверяются миллионы ссылок )
     
  17. Love-world

    Love-world Member Пользователи

    Регистрация:
    19 июл 2013
    Сообщения:
    102
    Сергей, просьба ввести в функцию поиск-замены новый оператор {prevre} - вывод всей подстроки регулярки от предыдущего правила. {prevre$1} - вывод первой группы подстрок регулярки предыдущего правила и т.д. Так можно было бы удобно выводить только совпадающие подстроки (или группы подстрок) регулярок например:
    Код:
    [SETTEXT]{prevre}
    [SETTEXT]{prevre$1}{br}{prevre$3}: {prevre$2}
    Так можно было бы собирать то что не всегда через {get} удобно распарсить.
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2019-06-19_21-04-20.png
     
  19. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Сергей, добрый день.

    Предлагаю ускорить обработку в области парсинга XML по ссылке, если это технически возможно конечно.

    По этой причине:
    8 xml файлов, доступных по ссылке, весом по 15мегабайт , по 150 000 строк и по 10 000 вхождений в 1 повторяющуюся границу, с двумя границами внутри повторяющейся на вывод, и использовании PHP_SCRIPT, с одним запросом на импорт 2х полей в базу данных, вчера парсил 1,5 часа. раньше CD их же парсил минут 20.

    Эти же файлы , при помощи PHP DomDocument DomXPath , спарсил за 30 секунд.

    Я в принципе могу продолжить использовать PHP, поэтому для меня спешки в ускорении CD нет, но может кто-то не умеет и ему бы xml файлы было бы удобно парсить при помoщи CD
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Приложите проект.
     

Поделиться этой страницей