Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. AlexS

    AlexS New Member Пользователи

    Регистрация:
    28 июн 2012
    Сообщения:
    56
    Добрый день. Есть предложение научить программу определять, что превышен максимальный размер файла, и реагировать на это. Если место на диске закончилось - то останавливаться на паузу с ошибкой. Если превышен максимальный размер файла (у меня на 2гб запись прекратилась, не знаю зависит ли от фс), то создавать новый файл. Неприятно терять несколько дней парсинга :(
     
    Root нравится это.
  2. nct

    nct Member Пользователи

    Регистрация:
    25 дек 2016
    Сообщения:
    40
    Адрес:
    Беларусь
    Как бы добавить возможность выбора нового движка и для непосредственно в Content Downloader, а не только в WBApp.

    Многие популярные сайты уже не позволяют использовать IE11, такие как Instagram, vk.com
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    http://forum.sbfactory.ru/forums/wbappcef.71/
     
    Root нравится это.
  4. AlexS

    AlexS New Member Пользователи

    Регистрация:
    28 июн 2012
    Сообщения:
    56
    Добрый день. Есть предложение делать кодирование всех символов, а не только букв, в параметрах {key} при включенном автоматическом кодировании. Сейчас, если я в {key} задам "вася&петя", то получу нерабочую ссылку %D0%B2%D0%B0%D1%81%D1%8F&%D0%BF%D0%B5%D1%82%D1%8F, где & будет воспринято сайтом как разделение параметров запроса.
    Ну и перекодировать желательно не только символы &, но и все остальные, чтобы они правильно ложились в запросы вроде ...search={key}&param=value
     
    Root нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 50 постов.**
     
    AlexS и kagorec нравится это.
  6. rushmessiah

    rushmessiah Member Пользователи

    Регистрация:
    14 дек 2016
    Сообщения:
    27
    Добрый день.

    Хотелось бы иметь возможность выводить значение обычной границы парсинга внутри "внучатой" повторяющейся границе парсинга, как бы перешагивая через родительсткую. Напимер, макрос [PARENTGRANx_y] имел бы такой вид, где x - номер повторяющейся границы, а y - номер обычной в рамках "прародительской"
    parent.JPG
     
  7. AlexS

    AlexS New Member Пользователи

    Регистрация:
    28 июн 2012
    Сообщения:
    56
    Добрый день, в сканере же есть какой-то фильтр ссылок, которые не добавляются в очередь? Ссылки на pdf например и тп. Предлагаю добавить туда ссылки вида /tel: , смысла загружать их нет никакого. Ну и может быть есть смысл вынести список маркеров фильтрации очереди в файл для пользовательских дополнений? По каждому маркеру не станешь же доработку просить. А /tel: уже достал просто, часто приходится вручную в фильтр вносить.
     
  8. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Здравствуйте!
    В автоматизации парсинга контента (ctrl+u) во вкладке "постобработка CSV фаилов" добавить функционал из главного редактора CSV-фаилов, а именно "дополнительные функции обработки ячеек".
    Лично мне очень часто требуется, чтобы каждый фаил CSV после создания удалял пробелы во всей CSV. Было бы здорово если этот функционал можно было добавить в автоматизации, ну и по возможности расширить его остальными вкладками, которые находятся в "дополнительных функциях обработки ячеек" (добавить текст, регистр, удаление пробелов и т.д.)

    Прикрепил скрин, как бы примерно могла выглядеть программа в будущем
     

    Вложения:

    • Для CD.png
      Для CD.png
      Размер файла:
      193,6 КБ
      Просмотров:
      6
  9. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    28
    Здравствуйте. Возможно ли добавить чекбокс с полем для разделителя в редактор csv - дополнительные функции ячеек-"регистр" и "добавить текст" , чтобы можно было выбрать если нужно разделитель в ячейке(например несколько значений через |) и можно было применить допустим поднятие первого символа регистра у каждого из значений разделенных | . Пример : красный|синий|зеленый преобразовать в Красный|Синий|Зеленый ,либо когда в ячейке записаны относительные пути картинок через запятую, можно было добавить в начало строку каждому из значений разделенных ",", чтобы получились абсолютные пути(можно делать костылями через добавить в начало текст и замены "," на ","+текст) .
     
  10. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Можно пример? Не понимаю как должно работать и куда вставлять. Смотрел Ссылки недоступны для гостей но это не то, там статическая переменная используется, а НАМ НУЖЕН АНАЛОГ {NUM:1,1}
    либо нужно уметь отключать удаление дублей ссылок во вкладке ссылки
     
  11. AlexS

    AlexS New Member Пользователи

    Регистрация:
    28 июн 2012
    Сообщения:
    56
    Добрый день. Добавьте пожалуйста в настройки антикапчи, вместе с русским языком и цифрами, параметры капч math,case,maxLength,minLength (Ссылки недоступны для гостей).
     
  12. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    190
    Доброго дня, Сергей!

    Очень хочется, чтобы в макросе [FILTERSTRINGS](в поиск-замене) появилась опция "точного" совпадения.
    Проблема вот в чем
    Имеем характеристики Название и Значение по строкам, например в таком виде Ссылки недоступны для гостей
    Как видно из скриншота, мне нужно оставить строки с четко заданными названиями характеристик (Высота, к примеру, но макрос выводит совпадение тоже.
    Надеюсь понятно изложил)
    Спасибо!
     
  13. nail

    nail Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    60
    Хотелось бы такую настройку - чтобы при закрытии программы всплывало окно с запросом - Вы уверены ? )
    И чтобы это окошко можно было отключить в настройках.

    Иногда очень не хватает..
    Так как на одной машине по-мимо CD запущены и несколько других программ.
     
  14. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    312
    Можете просто так сделать Ссылки недоступны для гостей
     
    Последнее редактирование: 28 июл 2019
  15. AlexS

    AlexS New Member Пользователи

    Регистрация:
    28 июн 2012
    Сообщения:
    56
    Добрый день, повторяю предложение, актуально до сих пор. Программу невозможно поставить на паузу при включенной опции повтора, только закрывать, что в ряде случаев невозможно без потери данных.
     
  16. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    312
    Для этого можете использовать условие, например [CHECKENTRY2(403)][GETRESPONSE(HTTP_QUERY_STATUS_CODE)]<CD_DOCURL!>[/GETRESPONSE][THENTEXT][WAITFORME][ELSETEXT]ВАШ ШАБЛОН ВЫВОДА[/CHECKENTRY2]
     
    Последнее редактирование: 28 июл 2019
    kagorec и Root нравится это.
  17. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Здравствуйте!
    Было бы круто реализовать в планировщике "Запускать через каждые "Х" минут/часов/дней".
    Знаю, что такое уже есть либо внутри программы, либо через планировщика Windows, но если бы это было сделано в более "понятном формате" (допилино до ума, или сделано как я описал чуть выше) - было бы намного удобнее
     
  18. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Планировщик WINDOWS решает это стабильнее и удобнее, мне кажется это уже городушки + есть такая техника, если надо запустить несколько проектов CD последовательно, через планировщик windows^
    1) Первая задача планировщика Windows запускает проект 1 , по завершению которого запускается BAT файл , в котором команда на запуск второго проекта CD через планировщик Windows, и вспомогательных программ если надо, и так можно выстроить бесконечную цепь.
     
  19. cyoshi

    cyoshi Member Пользователи

    Регистрация:
    4 апр 2019
    Сообщения:
    69
    Здравствуйте!
    было бы полезно создать версию макроса VAR с возможностью обновления значения переменных в каждой итерации повторяющейся границы парсинга. (сейчас переменная декларируется один раз и не обновляется). А если например сделать Cycle_VAR чтобы обновлялось?
     
  20. AlexandrSorokin

    AlexandrSorokin Active Member Пользователи

    Регистрация:
    27 ноя 2018
    Сообщения:
    71
    Город:
    Пермь
    Предложение.
    Когда нажимаешь на границу парсинга в редакторе главного окна (например, <CD_GRAN_5!>) чтобы с списке границ она подсвечивалась.
    А то сейчас выбираю порядок сохранения границ. Смотрю указана <CD_GRAN_5!> а слева только названия и приходится на глаз пересчитывать что же это за граница.
    Также сейчас указываю названия столбцов. Название1[CSVCS]Название2[CSVCS]Название3 и эти границы подсвечиваются, а в списке нет, и непонятно что эта граница парсит

    [​IMG]
     
    Последнее редактирование: 13 авг 2019

Поделиться этой страницей