Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Для повторяющихся границ можно назначить обычную границу как область кода вот ее и можно отметить как обязательную.
     
  2. suddendeath

    suddendeath New Member Пользователи

    Регистрация:
    24 сен 2015
    Сообщения:
    11
    Пробовал, не получилось(
     
  3. t@lev@n

    t@lev@n Member Пользователи

    Регистрация:
    16 июн 2014
    Сообщения:
    88
    На данный момент, если повторяющаяся граница есть на "выводе", можно использовать [MUSTBE]
     
  4. pavelbe

    pavelbe New Member Пользователи

    Регистрация:
    9 сен 2015
    Сообщения:
    41
    Очень нужна такая функция - ставить задание на паузу в 10.00, продолжить парсинг в 19.00 .
    Очень необходимо использовать в текущем проекте!

    Еще раз......
    Работаем.... стукнуло 10.00 - ставим задание на паузу... ждем ... стукнуло 19.00 - продолжаем парсить.... стукнуло 10.00 - снова ставим на паузу. И так далее......

    Также по поводу csv редактора.
    Добавьте пожалуйста функцию слияния большого количества одинаковых csv файлов. В каталоге, например, 100 - нужно их сложить в один файл.

    Спасибо!


    Спасибо.
     
  5. MAX3000

    MAX3000 New Member Пользователи

    Регистрация:
    14 дек 2010
    Сообщения:
    43
    Уже давно писал!
    Повторно спрашиваю - Это реализовать можно?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Возможно! Простите, но я не вижу в этом необходимости.

    С уважением к вам, Сергей.
     
  7. alexeysboy

    alexeysboy New Member Пользователи

    Регистрация:
    4 апр 2015
    Сообщения:
    5
    Здравствуйте. Можно добавить пути сохранения контента в несколько папок. Так как при больших объемах парсинга приходится вручную переносить уже спаршенные файлы или вручную менять название папки для сохранения контента.
    Пример: Имеем 200к ссылок на парсинг и папки условно 0,1...5 необходимо автоматом сохранять по 10-20к результатов в каждую папку. При нескольких папках это не проблема сделать вручную но когда папок 50-100 и каждый раз приходится останавливать парсинг и следить за тем чтобы ссылок было приблизительно столько сколько нужно, либо разбивать список ссыло по нужному числу страниц. В том же win7 крайне не удобно работать с папками в которых лежит много файлов 50-100-200к. Возможно в программе есть данный функционал, но перерыл весь форум и ни чего подобного не нашел. Спасибо.
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте!

    Ссылки недоступны для гостей
     
  9. alexeysboy

    alexeysboy New Member Пользователи

    Регистрация:
    4 апр 2015
    Сообщения:
    5
    Не совсем понял как с помощью данного макроса можно указать сохранять контент (html страницы) в следующую папку после заполнения предыдущей. Туплю наверное, буду пробовать.
     
  10. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую!
    Сереж, прошу рассмотреть возможность подключения работы через ананимайзер (например
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    )
    Чтоб ссылки проходили через него(там просто редирект идет, который бы реализовать программно, а не специально прописывать через wbapp).
    Попытался создать,
    Код:
    [GO]:
    
    
    
    
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    [WAIT]:2000 [PASTE][outerhtml][N]0[/N][FULL]:<input name="url" id="url" onfocus="if(this.value=='Введите адрес сайта'){this.value='';}" type="text" value="Введите адрес сайта">[TEXT]:[ORIGINALURL]
    но получаю вот такое: вместо адресса сайта вставлЯется макрос [ORIGINALURL] и ясень пень он не обрабатывается.
    Было бы очень удобно.
    Спасибо.
     
    Последнее редактирование: 31 окт 2015
  11. jozess

    jozess Member Пользователи

    Регистрация:
    19 дек 2010
    Сообщения:
    122
    Добавьте пожалуйста возможность скопировать все найденные значения в окне результата повторяющихся границ. Очень нужная вещь в обиходе)))

    [​IMG]
     
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Поддерживаю, буквально вчера столкнулся с повт.границами и разачарован был что неподдерживалось банальное копирование через ctrl+c, пришлось перепечатывать вручную значения для проекта.
     
  13. J!Life

    J!Life Модератор Команда форума Модератор

    Регистрация:
    6 дек 2013
    Сообщения:
    83
    При редактировании макроса replace в открывшемся окне добавить кнопку "получить данные", чтобы то, что между макросом replace (граница), вставилось в поле для "тестирования".

    Это упростит редактирование например при настройке тех же DYNAMICVALUES, где требуется множество замен.

    А пока приходится через ливвьюв получить данные, а потом вставлять в поиск замену для тестирования
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Доработал:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Новая функция вызывается через контекстное меню списка циклов (клик правой кнопкой мыши).

    С уважением к вам, Сергей...
     
  15. jozess

    jozess Member Пользователи

    Регистрация:
    19 дек 2010
    Сообщения:
    122
    При предварительном просмотре выводится сообщение:

    Было бы удобно вывести доп. информацию, какие именно границы парсинга сработали при этом. А то проект очень большой, а все проверять накладно.
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
     

    Вложения:

  17. jozess

    jozess Member Пользователи

    Регистрация:
    19 дек 2010
    Сообщения:
    122
    Обнаружил неясность с IMAGESPATH. Сохраняю картинки таким способом:

    Но, Выставив лимит 10 картинок:

    [​IMG]

    Ничего не произошло, все картинки в одну папку слились. В IMAGESPATH - есть настройка лимита, чтобы новые папки создавались? Если нет, то желательно добавить. А то по 300к картинок в папку записывается.
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Обратите внимание на доработку макроса [INT_ID]
    И используйте его совместно с [IMAGESPATH]

    С уважением к вам, Сергей.
     
  19. jozess

    jozess Member Пользователи

    Регистрация:
    19 дек 2010
    Сообщения:
    122
    Предложение. Как насчет того, чтобы сделать кнопку "СТОП" для обрыва всех потоков? Вот я к примеру, нажал на паузу, уже 7 минут жду пока потоки остановятся. Работа через прокси и <GETMORECONTENT>. Приходится каждый раз закрывать программу, уже как то поднадоело. Ведь многие на стадии редактирования и начала парсинга понимают, что есть косяк, и ждут пока потоки остановятся. Зачем ждать?
     
    Последнее редактирование: 28 ноя 2015
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Для стадии редактирования есть функция предпросмотра парсинга результатов парсинга для выбранного документа (ctrl+f2), используйте ее.

    Просто так обрывать работу потоков нельзя.
     

Поделиться этой страницей