Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Макрос шаблона вывода [CACHE]

    Код:
    [CACHE]<PHP_SCRIPT=http://[UTF-8]>
    <HEADERS></HEADERS>
    data=[FIELDVALUE][/FIELDVALUE]
    </PHP_SCRIPT>
    [/CACHE]
     
  2. Amarous

    Amarous Member Пользователи

    Регистрация:
    19 сен 2012
    Сообщения:
    33
    1. <STRTOINTID>
    <STRTOINTID>PRLjggeA</STRTOINTID>
    <STRTOINTID>PRLjgffA</STRTOINTID>

    2. в фильтр ссылок добавить функцию исключить ссылки, содержащиеся в файле
     
    Последнее редактирование: 8 янв 2020
  3. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    2. Чем не нравится встроенная поиск-замена?
     
    Root нравится это.
  4. marat

    marat New Member Пользователи

    Регистрация:
    2 сен 2017
    Сообщения:
    10
    Город:
    москва
    Приветствую всех участников этого форума, пользуюсь редко, поэтому не уверен, что пишу в правильной ветке, если ошибся- прошу прощения.
    Тема- предложения по доработкам программы:
    Было бы ОченьКруто, если добавить в программу возможность скачивать сайт(ы) целиком (или отдельные их части). Конечно, существуют программы и разные сервисы, с помощью которых это можно сделать. Но есть один у них минус - или нет, или очень плохо реализована в них авторизация на сайтах (когда сначала нужно ввести логин и пароль). Перепробовал разные варианты.
    А CD с этим справляется очень хорошо, также в ней присутствует большое количество инструментов, в сочетании с которыми, получилась бы, возможно, лучшая программа в данном роде.
    Если же это уже реализовано, большая просьба, скиньте информацию, как этим можно пользоваться.
     
  5. Amarous

    Amarous Member Пользователи

    Регистрация:
    19 сен 2012
    Сообщения:
    33
    Термин "скачать сайт" означат клонирование только видимых элементов. Вы никак не сможете клонировать CMS сайта. Да и 99% сайтов генерируют одним скриптом сотни, а некоторые, и миллионы страниц. Большой скопированный сайт для вас будет бездонной неорганизованной помойкой. Но ежели вам нужно скопировать минисайт, используйте Offline Explorer или утилиту Wget

    У меня файл со ссылками формируется другим проектом. Лишнее действие делать - копировать. Если на неделю-две забить на проект - хрен вспомнишь, что там в нем происходит! Да и список скачанных картинок тогда тоже можно было бы сделать встроенным.
    В общем, за спрос не бьют, можно и пользоваться LastMods из xml, но как говорил Сергей в том видео - в 90% есть карта сайта
     
    Последнее редактирование: 8 янв 2020
  6. marat

    marat New Member Пользователи

    Регистрация:
    2 сен 2017
    Сообщения:
    10
    Город:
    москва
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Соберите ссылки на нужные WEB-страницы сайта (можно сканером).

    И спарсите их во вкладке "Контент", где в шаблоне вывода будет только один макрос [DOCSOURCE] (вывод всего кода WEB-документа).

    Если этот способ вам не подходит, поясните, почему.
     
  8. marat

    marat New Member Пользователи

    Регистрация:
    2 сен 2017
    Сообщения:
    10
    Город:
    москва
    "Термин "скачать сайт" означат клонирование только видимых элементов. Вы никак не сможете клонировать CMS сайта. Да и 99% сайтов генерируют одним скриптом сотни, а некоторые, и миллионы страниц. Большой скопированный сайт для вас будет бездонной неорганизованной помойкой. Но ежели вам нужно скопировать минисайт, используйте Offline Explorer или утилиту Wget"
    - Это не совсем так, если Вы скачивали ранее какой-либо сайт целиком, то можно заметить, что получившаяся структура имеет свою иерархию в виде вложенных папок и файлов. а при использовании в оффлайн режиме можно перемещаться по всему сайту путем кликов по внутренним гиперссылкам.
    Иногда именно это и нужно - иметь на жестком диске копию какой-либо страницы из этого сайта, и при этом при нажатии на линки, перемещаться по скачанным страницам. Глубину перемещений можно настроить перед загрузкой той или иной области сайта.
    Все это в принципе работает, например в проге WinHTTrack и других подобных, но повторюсь, у них есть большая проблема с предварительной авторизацией - они просто не могут этого сделать.
    Конечно, разработчикам текущей CD, возможно, и некогда этим заниматься, но с другой стороны -возможно, это было бы и для них интересно, и программа в целом, стала бы еще гораздо мощнее.
     
  9. marat

    marat New Member Пользователи

    Регистрация:
    2 сен 2017
    Сообщения:
    10
    Город:
    москва
    Внутри каждой ссылки (страницы сайта) есть еще много ссылок, по которым тоже хотелось бы получить информацию, причем простым нажатием на гиперссылку на исходной странице, "проваливаясь" глубже - я просто пока не знаю, работает ли это и как настраивается...
    Два вопроса:
    1. Есть ли возможность в настройках сканера заранее задать предполагаемую глубину скачивания ссылок?
    2. То, о чем Вы пишите (DOCSOURCE) я пока еще не пробовал сделать , но если не ошибаюсь, в результате будет получено несколько отдельных страниц HTML, и перемещаться по ним, как по одному целому не получится?
    Если ошибаюсь, поправьте пожалуйста, буду очень благодарен!
    СПАСИБО!
     
    Root нравится это.
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пока нет. Учел. Спасибо.
     
  11. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Добавить возможность обработки excel-файлов (форматы .xlsx, .xls, возможно и другие форматы) в программу (В редактор CSV-файлов, Инструмент разделения обльших файлов и т.д.). Возможно, их просто конвертировать при открытии в CSV (который будет сохраняться , чтобы не было мороки. В основном нужно для автоматической обработки прайсов от поставщиков, которые не предоставляют данные в других форматах. (При необходимости под хайдом спрятал ссылки на прайсы поставщиков)
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 11890 постов.**
     
    Root нравится это.
  12. vladimir4000

    vladimir4000 Member Пользователи

    Регистрация:
    25 авг 2017
    Сообщения:
    119
    В редакторе CSV фалов есть функция Удаление строк или ячеек и там есть возможность Удалять, если ячейка не содержит. К примеру, есть ячейка содержащая abc, и если в поле "Удалять, если ячейка не содержит" добавить a или b или c, то строка не удалится. Было бы не плохо сделать, что то типа галочки - Точное условие или Точное соответствие. Т.е. что бы действие происходило только при точном совпадении - abc.
     
  13. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Так ведь уже реализовали - http://forum.sbfactory.ru/threads/predlozhenija-po-uluchsheniju-programmy.13/page-92#post-47828
     
    Root нравится это.
  14. vladimir4000

    vladimir4000 Member Пользователи

    Регистрация:
    25 авг 2017
    Сообщения:
    119
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей

    You can order the SMExport+SMImport bundle for 75 EUR and save 25 EUR per developer:

    75 евро. Тему эту, насколько помню, не спрашивали. Не знаю, будет ли востребованная загрузка из xls, стоит ли покупать данный компонент.
     
  16. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Вариант найти этот компонент за дешевле? Как было с CIS пару месяцев назад.
    Я думаю тема нужная, просто не поднималась как-то глобально. Если будет меньше 40 Евро на просторах интернета, готов внести донатом ради блага программы
    ___
    Если конечно компонент стоит своих денег, и имеет поддержку периодических обновлений, то возможно его стоит взять его и за свою стоимость, ИМХО
    ____
    Либо поднять опрос на форуме. Нужна ли функция или нет. Если не наберется за неделю нужное кол-во голосов / проголосовавших, то тогда опустим эту тему.
    Ну либо чуть позже буду готов внести донат на всю сумму , опять же ради блага программы
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Его могу купить без складчины. Это не ~40 000. Постараюсь оценить целесообразность.
     
  18. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Хорошо. Я в любом случае в ближайшую неделю хотел поддержать проект, поэтому в любом раскладе пускай эта идея будет на развитие проекта :)
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2020-01-11_16-34-11.png

    Глубину сканирования реализовал.

    Над остальным подумаю.
     
  20. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    В главном окне программы сохранение результата поставить по стандарту в UTF-8 (Сейчас стоит UTF-8 без BOM).
    Думаю будет даже лучше добавить вкладку "Сохранение результата" в опции программы (ctrl+8) (т.к. при создании нового файла периодически забываю сменить кодировку и опции записи документов).
    ___

    up: сори, моя тупость не увидела вкладку "Defaults"
     
    Последнее редактирование: 12 янв 2020

Поделиться этой страницей