Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    Здравствуйте.

    Редактор CSV. Возможность добавления чисел в строке если строка дубль
    Пример
    Файл csv 5 строк

    test
    test
    test
    slovo
    slovo

    и чтобы после обработки на выходе было

    test
    test2
    test3
    slovo
    slovo2
    т.е. к встречающемуся дублю, добавлялся его номер
     
    napserious нравится это.
  2. olivergreen

    olivergreen New Member Пользователи

    Регистрация:
    28 янв 2013
    Сообщения:
    31
    Не хватает оператора деления с остатком для работы с логическими выражениями.
     
  3. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    211
    При парсинге через планировщик задач (бесконечный цикл)

    Иногда поставщик прокси, крашит ссылку прокси, и получается вот такой затык:
    Screenshot_49.png

    Без ручного вмешательства не разберешься, можно поставить какой то таймаут ожидания, или таймаут выполнения цикла? Всё таки планировщик задач, это автоматизиция, и не хочется в автоматизацию руками вмешиваться.

    Заранее благодарен за любое решение.
     
    Последнее редактирование: 22 мар 2020
    kadishev1997 нравится это.
  4. green

    green Active Member Пользователи

    Регистрация:
    25 окт 2017
    Сообщения:
    75
    Всех приветствую..
    Каждый день работаю в редакторе csv. Очень удобный инструмент.. незаменимый. Огромная благодарность разработчику.

    В последнее время часто приходится работать с файлами xls, xlsx
    Очень бы не помешала функция сохранения/конвертации файлов csv в эти форматы (в основном xlsx). Особенно нужна функция пакетной конвертации нескольких файлов.. Единичные файлы можно и в ручном режиме сохранять, проблема возникает когда файлов много.
    Если для этого необходим какой-то компонент, я готов поучаствовать в приобретении..
     
    Root, kadishev1997, TeslaCo и ещё 1-му нравится это.
  5. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Здравствуйте! Программа крутая, за нее спасибо! Есть предложение по улучшению:

    В редакторе CSV сделать функцию, которая будет БРАТЬ строки, в которых есть какое-либо значение.

    Например: Есть CSV, 500.000 строк и 10 столбцов, в ней данные в 5 столбце, по которым необходимо отфильтровать.
    Чтобы не использовать функцию "Удаление строк или Ячеек" (которая будет обрабатывать данные около суток), добавить данный функционал, который будет создавать копии строк (например в конце CSV или создавать новую CSV, в которую будет записывать данные), в которых присутствует это значение.

    Тем самым, данные будут обрабатываться намного быстрее, пропуская ненужные значения, и собирая только то, что совпадет с поиском
     
    Root нравится это.
  6. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Быстрее вряд ли будет
    Чтобы пропустить ненужные значения - их так же нужно обработать, что-бы понять что значения - ненужные
     
  7. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Ну почему же?

    Если значение НЕ присутствует в ячейке - пропусти строку. Если присутствует - продублируй/пропиши/обработай.

    Помню даже где-то пол года назад предлагали вариант сохранять удаленные данные после обработки - по сути то же самое, только вид реализации по-другому
     
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    потому что надо обрабатывать все данные. Ексель от майкрософта не просто так первый в мире.
     
  9. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    OpenOffice Calc лучше работает с CSV чем тот же ексель.

    Возможно пропустил, но возможно добавить "менеджер заготовок" для "строки заголовка"?
    Например: часто добавляю/прописываю/копирую _MAIN_CATEGORY_ _NAME_ и прочее для работы с данными, бесит их постоянно прописывать, можно ли в такой менеджер вбить все что нужно, а потом просто вызывать его одной кнопкой и тыкая по нужным названиям добавлять в строку заголовка?
     
  10. green

    green Active Member Пользователи

    Регистрация:
    25 окт 2017
    Сообщения:
    75
     

    Вложения:

    • fvrtgrtg.png
      fvrtgrtg.png
      Размер файла:
      30,5 КБ
      Просмотров:
      9
  11. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Крайне не удобно, каждый проект новый шаблон, у меня их тогда будет больше 100, в основном меняются заголовки, а макросы вывода в ручную добавляю. а тут если настроил вывод, и из шаблона захочешь вставить, то все настройки заменяются)
     
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Спорное заявление - можете проверить открыв в обоих редакторах документ весом 100мб. и скорее всего Openoffice\Libreoffice повиснет так и не открыв документ, эксел переварит медленно но уверенно.
     
  13. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Есть настройки у Calc'a там его можно так настроить что думаю справится с этим. хотя надо тестить.
    Просто вся проблема у экселя в том что он может сломать файл и сохранить не в том формате как надо. а если utf-8 ?
    В калке при открытии все это можно настроить, какой разделитель и кодировка и прочее... ну да ладно этот спор явно не в этой ветке должен быть)
     
  14. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    В екселе есть такое понятие как ДАННЫЕ => ИМПОРТ => и там все тоже самое, разделители, кодировки и все остальное.

    Открою вам секрет
    upload_2020-4-9_21-52-28.png
    3000 проектов (половина это модификации , поменяли одно, поменяли второе, третье) при этом это только проекты 2-х годичной давности, остальное удалил, ибо нет смысла держать. Для вас это может и неудобно, для старожил это идеальный вариант. Приэтом никто не мешает вам перезаписывать 1 и тот же проект
     
  15. Pattrik

    Pattrik New Member Пользователи

    Регистрация:
    5 мар 2017
    Сообщения:
    3
    Здравствуйте.

    Редактор CSV. Есть ли возможность встроить translate.google (гугл переводчик)?
     
  16. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    Здравствуйте
    Очень нужна функция в настройках прокси - после парсинга N ссылок автоматически перемешивать прокси в случайном порядке, сейчас это можно делать вручную.
    Другой вариант - перемешивать при каждой загрузке списка прокси из файла на диске.
    Такое можно реализовать?
     
  17. SMOuk24

    SMOuk24 New Member Пользователи

    Регистрация:
    29 янв 2018
    Сообщения:
    1
    Здравствуйте, думаю будет полезна функция "Приведение в нижний или верхний регистр" в окне "Расширенные настройки генерации ссылок", т.к. фильтр чувствителен к регистру.
     
    Root нравится это.
  18. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Здравствуйте! В строке заголовка добавтиь возможность использовать макрос вставки текущий даты (и по возможности времени), с которой начался парсинг

    Что-то типа этого

    Код:
    Заголовок1 [CSVCS] [CD_DATE_YY][CD_DATE_MM][CD_DATE_DD] [CSVCS] Заголовок 3 ...
    Чтобы в итоге получилось:
    Заголовок1 [CSVCS] 13 апреля 2020 [CSVCS] Заголовок 3
    Необходимо для автоматизации, чтобы в дальнейшем склеивать схожие значения по разным датам в том же редакторе CSV для анализа данных
     
    Root нравится это.
  19. Denorion

    Denorion Member Пользователи

    Регистрация:
    7 апр 2020
    Сообщения:
    52
    Город:
    Москва
    Добрый день! Возможно у меня частный случай, но мне не хватило
    в сканере сайта возможности передать PARAM из кода документа к текущей ссылке. Получается передать PARAM ко всем найденным ссылкам на этой странице, а передать PARAM только к текущей ссылке нет возможности.
    Возможно вы посчитали бы рациональным добавить второе поле в сканере сайтов с аналогичными возможностями, как и для добавления PARAM ко всем найденным ссылкам, но для добавляния только к текущей ссылке. Что бы можно было уникализировать и связать данную конкретную ссылку с данной конкретной страницей.
    Ссылки недоступны для гостей
    Спасибо
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Значение [PARAM] берется из кода WEB-документа, который в данный момент парсится и, внимание, подставляется ко всем найденным в этом WEB-документе ссылкам (что и должно быть).

    Если одинаковое значение [PARAM] добавлено к нескольким найденным ссылкам (как у вас на скриншоте) это значит, что:
    1) Либо эти ссылки найдены в одном WEB-документе (откуда берется значение [PARAM])
    2) Либо значение [PARAM] при парсинге разных ссылок берется одинаковое.
     

Поделиться этой страницей