Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Доброго дня всем, в данной теме прошу высказывать ваши пожелания и предложения по развитию программы Content Downloader.
     
  2. Vitalyj

    Vitalyj New Member Пользователи

    Регистрация:
    13 мар 2010
    Сообщения:
    4
    доработка парсера

    Хорошо бы реализовать:
    1. Чтобы было видно название активного проекта(по типу как название документа в MSWord);
    2. Отслеживание дублей (как опцию с галочкой активации);
    3.Неплохо было бы встроить функции очистки от мусора, тэгов, лишних пробелов и пр.
    4. Сохранение в формат экспорта в популярные CMS.
    5. Автообновление до новой версии.
    6. Многопоточность, т.е. обработка несколько проектов одновременно (активные вкладки в одном окне).
    7. Запуск проектов по расписанию.
    8.Перенос текста по строкам в пределах экрана в окне задания границ парсинга(с выбором по желанию пользователя).
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Виталий, занимаюсь тестированием новой версии, кое что уже осуществил из ваших просьб (пункты 1 и 8). Обновление будет на днях (сегодня - послезавтра).

    Остались неясности:
    2. Отслеживание дублей - дублей статьей, которые спарсили? при совпадении удалять?;

    3. Для этого есть специальная программа - Decorator (на сайте есть платная и бесплатная версии). Но в будущем скорее всего встрою в парсер;

    4. Думаю над этим, обязательно будет, но позже, так как еще много запланировано того, что нужно сделать в первую очередь;

    5. Пока даже не знаю стоит вводить эту функцию или нет, но посмотрим ;);

    6. Тоже думаю над реализацией данной функции, очень полезная вещь;

    7. Сделаю в ближайших обновлениях;

    Спасибо за пожелания, работаю...
     
    Jusper нравится это.
  4. k0yz

    k0yz New Member Пользователи

    Регистрация:
    18 мар 2010
    Сообщения:
    5
    я думаю да - на кой они нужны?! кстати, как планируется определение дублей статей?
    думаю было бы не плохо, + еще, как говорил в аське, возможность простановки в тхт тегов p, для форматирования текста, т.к. при сохранении тхт в хтмл - форматирование отваливается..
    удаление коротких строк, это для удаления сбившихся во время парсинга таблиц..
    пожалуй прокачусь и по этому моменту =), собственно хотелось бы видеть возможность сохранения файлов по папкам в соответствии с категорями сайта который парсим, плюс к этому думаю было бы не дурно добавить возможность объединять файлы внутри папки в один с прописыванием в заголовок названия категории в тегах h1 (формат названия категории для ВПТ)
    =), это я думаю не долго дернуть со смартрерайтера..
    без комментариев =)..
     
    Root нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо, многое из предложенного весит в туду листе, работаю ;).
     
  6. sah

    sah New Member Пользователи

    Регистрация:
    20 мар 2010
    Сообщения:
    8
    предложение

    раз уж дело до экспорта в cms дошло, то наберусь наглости и выскажу свое пожелание: нужен экспорт в html, в любой шаблон, что-то наподобие тохтамыша
     
  7. k0yz

    k0yz New Member Пользователи

    Регистрация:
    18 мар 2010
    Сообщения:
    5
    +1, к этому и пытался подвести.. хотя я думаю сделать это будет не долго..

    уважаемый Root сделайте пожалуйста экспорт в хтмл файл, аля симпл =).. была и такая кмс в свое время - до массового бана, таким образом для вас откроется еще одна ниша потребителей ;)..
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо за предложение.
    Мысль достаточно интересная. Буду реализовывать.
     
  9. Vitalyj

    Vitalyj New Member Пользователи

    Регистрация:
    13 мар 2010
    Сообщения:
    4
    Участникам, час добрый :)
    Root >> Посмотрите как реализовано в Дозоре. Т.е. по умолчанию дубликат текста не парсится даже, если ты физически удалил его с диска. Если ты удаляешь из истории, то дубль может быть загружен повторно. Бывает полезно, когда работаешь с неиндексированным контентом и парсинге текстов для журналистских баз.
    Сейчас, пока, выхожу из положения путем пересохранения проекта: при повторной загрузке видно какая ссылка была загружена последней. Вот, от нее и парсится новая текстуха. Не очень удобно, но вести свою базу еще геморойнее.

    По автообновлению. Хотя бы для начала ввести оповещение, что вышла новая версия. Когда дел выше крыши, поможет юзерам не пропустить очередное обновление ;)

    Из новых идей...можно добавить работу через прокси, но это не к спеху.
     
  10. Argonavt

    Argonavt New Member Пользователи

    Регистрация:
    30 мар 2010
    Сообщения:
    15
    хехей привет и тут ты))))

    по теме - нужен конвертинг парсинга в хтмлинг. факт.
     
    Последнее редактирование: 30 мар 2010
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Не понимаю, ведь программа и так сохраняет в Html формате?
     
  12. k0yz

    k0yz New Member Пользователи

    Регистрация:
    18 мар 2010
    Сообщения:
    5
    =), привет..

    Root, хтмл формат здесь имеется ввиду чтобы он сохранял все в один файл, заголовки статей были в аш2, заголовок категории в аш1..

    такой формат поддерживают различные утилиты для импорта данных в кмс.. т.е. это впт, тексткит, зеброид.. отсюда понятно что те у кого уже есть данный софт автоматически становяца и твоими потенциальными клиентами =)..

    однако объеденить кучу файлов в один и сделать из него хтмл со всеми отсюда вытекающими - дело не более минуты =).. единственное для наглядности, как уже говорилось выше, хотелось бы видеть возможность раскладывать спарсенные статьи по папкам в соответствии с категориями того сайта, который парсим.. впринципе и это не критично =), однако придает сдлности ;).. т.к. статьи в категориях на сателлите максимально соответствуют названию категории..

    как-то так вообщем..
     
  13. Argonavt

    Argonavt New Member Пользователи

    Регистрация:
    30 мар 2010
    Сообщения:
    15
    ну собсна я имел ввиду генерацию хтмл-сайтика. скажем, я раскладываю по папкам спасенные статьи, задаю шапку, менюшку, и он генерит трехуровневый хтмл-сайт.
    Так то да, выделить в командере сразу пачку спарсенных статей и тупо пеертянуть в опен офИС НЕСЛОЖНО ) а потом в WPT, но то вордпресс, а мне интересны сайты в хтмл.
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Генерация штмль сайтов в планах, причем в ближайших, думаю за неделю справлюсь, ждите обновлений.
     
  15. Zheka

    Zheka New Member Пользователи

    Регистрация:
    4 апр 2010
    Сообщения:
    2
    было бы неплохо добавить в редактор "обработка и импорт контента" побольше функциональности такие как копировать, вставить и др. основные функции простого редактора.

    b) к кнопкам b, i , h .... добавить кнопку more ;

    c) сделать чтобы поле description заполнялось автоматически (на примере DLE) (можно сделать опционально (вдруг кого будет не устраивать)) ;

    d) сделать экспорт контента с возможностью выбора своего шаблона ( пример можно посмотреть в граббере от Vipbablo)
     
  16. 4bank

    4bank New Member Пользователи

    Регистрация:
    5 апр 2010
    Сообщения:
    1
    Хотелось, что бы со временем появились следующие дополнения в софте
    1) учёт регистра букв в ссылках. На практике столкнулся с тем, что иногда ссылки начинаются с Большой буквы, в то время как парсер контента меняет букву на маленькую. А ссылка с маленькой буквой не работает.

    2) Возможность авторизации на сайтах, где требуется авторизация по логину и паролю
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо за хорошие предложения.
    Все вышеописанные пункты, кроме последнего (с авторизацией пока туго), уже в процессе.
    На днях выйдет обновление...
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста поконкретнее, когда именно меняет, в какой функции, при парсинге чего?
     
  19. Zheka

    Zheka New Member Пользователи

    Регистрация:
    4 апр 2010
    Сообщения:
    2
    Желательно бы добавить в пункт "автопростановка тегов" где "через сколько символов" , помимо числа символов, можно было бы устанавливать "через сколько предложений" ( с вариантом выбора) так думаю было бы лучше...
    В пункте экспорта где "в какое время публиковать" помимо статического времени можно было бы установить рандомное ( с вариантом выбора)....

    как то так....
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ок, спасибо, учтем.
     

Поделиться этой страницей