Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. ltt

    ltt Member Пользователи

    Регистрация:
    21 дек 2016
    Сообщения:
    112
    Предлагаю добавить в планировщик "Запускать по завершению текущего проекта", чтобы можно было назначить следующие проекты, если идет долгий парсинг.
    Либо добавить возможность в уже запущенный планировщик добавлять проекты.
     
  2. furiec

    furiec Member Пользователи

    Регистрация:
    24 дек 2012
    Сообщения:
    63
    Всем ку! Предложение по CSVIMAGES. Прекрасный Аргумент [FIXED] не срабатывает если граница доп картинок оказывается пустой. Было бы удобнее изменить это поведение или же добавить что то типа FOREVERFIXED чтобы колонки под доп картинки были всегда отведены (Разделение на основную картинку и доп картинки необходимо для opencart для многих скриптов импорта) Спасибо!
     
  3. Trenikola

    Trenikola Member Пользователи

    Регистрация:
    8 июн 2013
    Сообщения:
    60
    Добрый день!
    Можно ли создать функцию переформатирование файлов в формат xlsb или сразу запись в этот формат? Работаю с "миллионником" строк и этот формат открывается в разы шустрее csv. Кроме того, в этом формате можно легко и быстро использовать собственные макросы для постобработки.
     
  4. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Добрый! А что вам мешает получить csv и сохранить в xlsb?
     
  5. Trenikola

    Trenikola Member Пользователи

    Регистрация:
    8 июн 2013
    Сообщения:
    60
    Мне мешает долгое открытие файлов csv с миллионом строк и с кучей столбцов с инфой. Время их открытия(файлов), и есть проблема, чтобы пересохранить их в другом расширении. Если бы файлы были сразу в xlsb первое открытие файлов было бы в разы быстрее.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    furiec нравится это.
  7. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Всем привет
    Есть предложение в области редактора CSVфайлов
    Для инструмента скачать картинки
    Я не вижу настройки, ПО СКОЛЬКО КАРТИНОК СОХРАНЯТЬ В КАЖДУЮ ПАПКУ (как в инструменте cntrl9)

    Может просто не увидал, но для тех кто вэбом занимается, принципиально нельзя в одну папку класть много картинок. Но это так блаж, можно же спокойно скачать фотки основным функционалом
     
    Последнее редактирование: 11 мар 2018
    Root нравится это.
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Привет.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2018-03-12_00-45-17.png
     
    Djahat и xLime нравится это.
  9. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    Привет.
    В поиск-замена часто пользуюсь своими шаблонами, которые лежат по разным файлам на компе, и можно было бы для удобства сделать , как в таких прогах как дримвивер Фрагменты кода. Создаешь свой фрагмент, который часто используешь типа <a{skip}>{get}</a>|{multiget} и потом просто кнопкой вставлять. И чтобы это как бы централизовано было, т.е. любой проект отрыл и там эти фрагменты были. Извиняюсь, если что не так. Просто предложение
     
    ltt, xLime и Root нравится это.
  10. chertenok

    chertenok New Member Пользователи

    Регистрация:
    13 мар 2018
    Сообщения:
    1
    Город:
    СПБ
    Привет.
    НЕ знаю куда писать такое, так что напишу сюда. Программу купил давно, как хомяк, но сейчас стал пользоваться. Понял, что процесс парсинга очень времязатратный. посему вопрос, а можно ли программу поставить на vps сервер (windows 2012)? У меня 2 активации сейчас использовано (первая при покупке, вторая сейчас). Есть ли ограничения по активациям?
    и еще один вопрос. Можно ли сканер сайтов как то сделать фоновым, что бы он сканировал сайт, а сама прога при этом парсила данные. Или может я что не так делаю.
    Заранее спасибо.
     
  11. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    приветствую
    vps да
    сканер - нет. Все делается последовательно.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    1) Переносить программу на другой ПК можно сколько угодно много раз (1 раз в трое суток)
    2) Можно, просто закрыть окно сканера сайтов
     
  13. redizka

    redizka New Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    7
    Приветствую!
    Шикарная программа, но порой не хватает в работе таких опций.
    1. [Макрос для проверки уникальности поля]. Чтобы при парсинге проекта шла проверка и в случае если значение совпадает с ранее сохраненным с другого документа либо можно было его поменять добавив что-то либо остановить парсинг.
    2. [Макрос для проверки закрывающих тегов]. Если спарсить часть html кода, то в нем может не хватать части тегов, по разным причинам. Не плохо было бы иметь макрос который проверит количество заданных в нем тегов и если не хватает закрывающих просто доставит их: 1 вариант это просто в конце, 2 вариант попытается определить место где его логично поставить на основе структуры. Это не даст спарсеному коду сломать верстку сайта где он будет выведен.
    3. Мультишаблон или двойной шаблон. Например я хочу спарсить данные и вывести их в виде файлов + отдельно сохранить данные по второму шаблону в виде одного файла CSV. Можно просто два раза спарсить, но когда большие объемы данных это бы экономило день-два.

    Отдельный вопрос:
    Требуется обработка результатов парсинга, например замена ссылок на новые. Ранее производил это через опции поиска-замены при парсинге. Но когда правил замен > 10 тысяч это уже большая проблема. Сейчас стоит задача обработки кода на основе 400 тысяч правил замены, сам код небольшой, 100-1000 символов, несколько тысяч файлов. Как можно это сделать эффективнее? Можно ли как-то через программу? Если нет, посоветуйте какие-то способы, буду очень благодарен!

    Благодарю за вашу программу!
     
  14. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую. При занрузке xml карты через планировщик не срабатывает функция Записывать найденные ссылки в файл.
    Был бы признателен за доработку.
     
    BlackCard нравится это.
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Не вижу такой опции в инструменте загрузки XML-карт сайта.
     
  16. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Преефразирую. Если мы используем вкладку ссылки с фильтрацией ссылок, как нас после загрузки xml (через планировщик) сохранить эти ссылки на диск?
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Инструмент загрузки XML-карт сайта (shift+ctrl+m) не имеет опции записи найденных ссылок в файл.

    Опция записи найденных ссылок в файл присутствует во вкладке "Ссылки"

    2018-03-15_17-26-29.png

    Если вам нужно сохранять найденные ссылки в файл, парсите XML во вкладке "Ссылки".
     
  18. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    А нельзя ли предусмотреть такую опцию сохранения в файл? Просто сохранять список полученных после фильтрации ссылок в файл?
    Мы когда загружаем xml у нас и так происходит отсеивание ссылок, А если мы после этого их будем парсить, то у нас он будет брать уже ссылки внутри этих ссылок.
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Парсите лишь один XML-файл во вкладке ссылке, просто добавьте 1 ссылку на XML-карту в список ссылок и спарсите этот один XML во вкладке ссылки.
     
    xLime нравится это.
  20. ltt

    ltt Member Пользователи

    Регистрация:
    21 дек 2016
    Сообщения:
    112
    Всем привет! В программе имеется функция "приостановить парсинг в случае бана". Когда это состояние включается, появляется окно, и активно только оно. Можно ли сделать так, чтобы парсинг приостанавливался, и можно было зайти в "авторизацию..."? К примеру, чтобы нажать капчу? После чего парсинг бы продолжился. Спасибо
     

Поделиться этой страницей