Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Макрос шаблона вывода [WAITFORME]
     
    ltt нравится это.
  2. ltt

    ltt Member Пользователи

    Регистрация:
    21 дек 2016
    Сообщения:
    112
    Забыл про него, спасибо!
     
    Root нравится это.
  3. jozess

    jozess Member Пользователи

    Регистрация:
    19 дек 2010
    Сообщения:
    122
    Добрый день. Можно ли добавить несложную функцию:
    [​IMG]
    В границе парсинга 11 стоит выставлено: если она окажется пустой - то выводить Границу 12. А в 12-ой стоит - если пустая то выводить 13-ую и т.д.

    Так вот. Если Граница 11 будет пустая, то Повторяющаяся граница 1 - при этом не работает. Пусть ищет с 12, 13 и т.д...
     
  4. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Думаю вам необходимы макросы [IFNILL] и [CHECKENTRY].
    Из того, что вы написали мне непонятно что из чего следует. Попробуйте составить/нарисовать схему.
     
    Root нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Либо так:
    2018-03-19_13-55-07.png
     
  6. BlackCard

    BlackCard Member Пользователи

    Регистрация:
    8 мар 2018
    Сообщения:
    37
    Здравствуйте. Прошу немного доработать LOG.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 500 постов.**
    Как видите, видно что 1 картинка не сохранилась.
    Можно ли добавить функцию записывать ссылку картинки и страницу таких элементов?
    Чтобы было видно на какой странице и какая картинка не сохранилась.
    А то если страниц много - нереально вручную за всеми уследить.

    Возможно можно выделять цветом если несоотвествие
     
    Последнее редактирование модератором: 19 мар 2018
    xLime, Kreol и Root нравится это.
  7. jozess

    jozess Member Пользователи

    Регистрация:
    19 дек 2010
    Сообщения:
    122
    Нарисовал:
    [​IMG]
     
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    jozess вы не хотите пробовать то что вам пишут
    Код:
    [FINAL_REPLACE(href="{get}"|{multiget})][CHECKENTRY([ANYTEXT])]<CD_GRAN_11!>[THENTEXT]<CD_GRAN_11!>[ELSETEXT][CHECKENTRY([ANYTEXT])]<CD_GRAN_12!>[THENTEXT]<CD_GRAN_12!>[ELSETEXT][CHECKENTRY([ANYTEXT])]<CD_GRAN_13!>[THENTEXT]<CD_GRAN_13!>[ELSETEXT][/CHECKENTRY][/CHECKENTRY][/CHECKENTRY][/FINAL_REPLACE]
     
    jozess, xLime, Root и ещё 1-му нравится это.
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Content Downloader X1 версии 11.1.0000330 (19.03.2018)

    - Добавлен менеджер правил поиск-замены (кнопка "менеджер" в окне редактора поиск-замены);
    - Множество других доработок.
     
    Stan, xLime, BlackCard и ещё 1-му нравится это.
  10. BlackCard

    BlackCard Member Пользователи

    Регистрация:
    8 мар 2018
    Сообщения:
    37
    В менеджере данных (менеджер FTP соединений) поле password открыто к просмотру любому желающему...
    Думаю было бы неплохо пароль представлять в виде звездочек, ибо это существенно снижает безопасность.
    Например:
    - Если передаешь проект настройщику, но не хочешь распространения своего FTP пароля.
    - Защита от вирусов и хакеров.
    - Имея полный доступ к таким данным, у любого человека (даже не хакера) открывается неограниченный доступ к Вашему FTP. Что может породить множество проблем, включая заливку shell, вирусов, кражу личных данных и прочей лабуды...Да даже просто поиграться, поудаляв все.
     
    xLime и Root нравится это.
  11. uskirill

    uskirill Member Пользователи

    Регистрация:
    14 дек 2016
    Сообщения:
    35
    Здравствуйте, сделайте пожалуйста в настройках макроса <DOWNLOADFILE> кнопочку: отключить загрузку изображений(или файлов). Не всегда нужно загружать изображения. Например, когда нужно обновить только информацию товара с сайта поставщика, а картинки загружать не нужно. А удалять макрос из кода и потом снова вспоминать где он был не очень удобно.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2018-03-20_07-57-10.png
     
  13. uskirill

    uskirill Member Пользователи

    Регистрация:
    14 дек 2016
    Сообщения:
    35
    Новые или измененные то все равно загружаться будут. А хотелось бы чтобы загрузка вообще обрубалась. Наподобие как здесь:

    2018-03-20_15-24-50.png
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2018-03-20_09-03-25.png
     
    BlackCard и xLime нравится это.
  15. drvoodoo

    drvoodoo Active Member Пользователи

    Регистрация:
    30 дек 2016
    Сообщения:
    69
    Скажите планируется ли создание компиляции 64 битной версии?
    Переход на 64 бита, позволило бы избежать проблемы нехватки памяти (out of memory)
    Дело в том что мне приходиться собирать данные миллионами страниц. В связи с этим приходиться придумывать заумные хитрости для исключения дублей и других прелестей разбивки проекта на части.
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2018-03-26_00-50-13.png

    В программе и так увеличено значение используемой памяти с фактических 1,5 гб (32 бит) до 3,5 гб.

    Переход на 64 бит версию скорее всего невозможен в связи с тем, что используемый нами компиллятор не поддерживает создание 64-bit exe, а переход на новую версию компиллятора (с поддержкой создания 64-бит версии) скорее всего не возможен (новая версия не поддерживает ряд незаменимых компонент, используемых в программе).
     
    Последнее редактирование: 26 мар 2018
  17. drvoodoo

    drvoodoo Active Member Пользователи

    Регистрация:
    30 дек 2016
    Сообщения:
    69
    Похоже подходит то время когда стоит задуматься о версии 2.0 ;)
     
  18. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    Предлагаю немного усовершенствовать правила, прописанные в макросе EXTRACTEMAILS
    - исключить из выборки почты без символов перед @, на даное время в базу попадают строки вида @Domain
    - исключить из выборки почты c доменом, содержащим цифры вида xxx@12.3
     
  19. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    1) Обратите внимание на опцию [FILTERSTRINGS] макроса REPLACE.
    2) Из собственного опыта могу сказать, что все ошибки предусмотреть сложно и надеяться на 100% корректное извлечение эл. почт не стоит. Проблемы будут не только с xxx@12.3. Лучше проверьте потом программами для верификации email. Гугл в помощь! ;)

    PS Собственный опыт - это не только CD.
     
    Последнее редактирование: 31 мар 2018
    Octavian нравится это.
  20. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    подскажите регулярку для первого случая с @Domain
     

Поделиться этой страницей