Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    выношу на ваш суд такое предложение по улучшению программы:
    на сегодняший день минимум в 2-х местах программы возможен предварительный просмотр результата парсинга..
    1. дважды нажать на ссылку
    2. в окне построения шаблона..
    суть предложения: можно ли, помимо просмотра окончательного результата парсинга, предусмотреть спецрежим - в котором производимые программой изменения с первичным текстом будут отражаться поэтапно. к примеру - нажал пробел - удалились тэги, еще раз - сработали функции дополнительных настроек границ парсинга, еще раз - еще один этап и так далее по списку Ссылки недоступны для гостей
    ... нажал ESC - вышел из спецрежима.. это очень помогло бы в отладке сложных проектов - иногда бывает крайне сложно выявить то место в длинной последовательности операций, начиная с которого все идет не так как задумано. порой доходит до того что легче создать проект по новой, чем править старый.. это же, кстати, очень важно и для корректной работы регулярок... я вот, к примеру, долго бился над вопросом почему не работает идеальная с виду регулярка.. оказалось, она подразумевала начало строки ^ но на момент ее срабатывания перед ней стоял пробел каким-то образом затесавшийся туда от прежних этапов обработки.. порой очень трудно просчитать внешний вид текста на промежуточном этапе..
     
    Последнее редактирование: 23 авг 2012
  2. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Очень мудрённое предложение, передам автору, ему решать насколько оно рационально, приемлемо, выполнимо.
     
  3. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    Введи, пожалуйста, поддержку таксономии в экспорте в wordpress (про категории знаю, пользуюсь, но это понятие гораздо шире просто).
    Например, по аналогии с тэгом [CATS][/CATS] сделать тэг:

    [TAX=NAME][/TAX]

    (NAME - это наименование таксономии).
     
  4. jozess

    jozess Member Пользователи

    Регистрация:
    19 дек 2010
    Сообщения:
    122
    Столкнулся с проблемой. Просто караул. Макросы <DOWNLOADFILE></DOWNLOADFILE> задают порядковое имя file1.mp3,file1.mp3,file3.mp3 (структура сайта палится таким образом, плохо работать с такими именами в других программах).

    Вторая проблема хуже. Нужно скачать с сайта более 500Гб данных (Индикаторов не видно, CD наверное будет год качать:)). Пошел другим путем. Закинул список в DownLoadMaster - ссылки такие: http:// site/1000/cat/12554.zip - ссылка динамическая, и название файла при сохранении меняется:) Вот тут и веселье.

    Предлагаю:
    1. Генерировать имя файла, например из границы в транслит.
    2. Оставлять имя неизменным (если будут дубли -добавить префикс).
    3. Сделать индикатор загрузки файлов.

    Ведь и пользователям потом в будущем будет приятно скачать не 1000001.mp3 , а yura_shatunov_belie_rozi.mp3
     
    Последнее редактирование: 5 сен 2012
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Это уже реализовано, смотрите Ссылки недоступны для гостей макросы DOCSNAMES_ и DOWNLOADFILENAMES_
    А вот 3 пункт интересный и долгожданный)
     
  6. Kodmik

    Kodmik New Member Пользователи

    Регистрация:
    2 сен 2012
    Сообщения:
    3
    Подключите к программе antigate! А то уже много сайтов капчу выдают, а парсить в один поток с 1с задержки выматывает)
     
  7. zilon

    zilon New Member Пользователи

    Регистрация:
    24 дек 2011
    Сообщения:
    80
    а можите сделать так чтобы программа предлогала сохранить проект через некоторое время после открытия, при условии, что CD ничего не парсит? Иногда бывает настроишь сложный проект, пойдёшь портвену выпить, приходишь, а виндовс завис. Или просто закрываешь CD не сохраняя проект, это ещё обиднее))

    на antigeit каталог софта есть который использует их сервис, то есть от туда можно покупателей получить, если antigeit к CD подключить
     
    Последнее редактирование: 10 сен 2012
  8. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Поддержу идею, по началу были такие же проблемы, но теперь уже в привычке сохранять проект через несколько внесенных изменений в настройках... даже бывает по несколько раз))

    Было бы не плохо сделать автосохранение настроек если они были один раз сохранены в проекте с назначенным названием.
    Далее если в проект вносятся изменения то этот же проект рядом с основным сохраняет этот же проект но расширением .cdp.temp и на случай отключки программы не сохранив проект все изменения проекта останутся
    именно во временном файле с расширением .cdp.temp
     
  9. bork75

    bork75 New Member Пользователи

    Регистрация:
    2 сен 2010
    Сообщения:
    97
    Предложение по улучшению работы авторизации через cookies

    Создавал темки
    http://forum.sbfactory.ru/showthread.php?p=3257#post3257 - товарищ на друом компе тоже не может авторизоватся

    http://forum.sbfactory.ru/showthread.php?t=478 - сделать возможность использовать список cookies

    Идею с автосохранением поддерживаю.
    Сам предлагал когда-то внести изменение в сохранение, но идея со временным файлом лучше.
     
  10. zilon

    zilon New Member Пользователи

    Регистрация:
    24 дек 2011
    Сообщения:
    80
    А можите добавить макрос в шаблоне вывода, чтобы он выводит не одно случайное значение как этот макрос {...|...} , а последовательно, 1-е, 2-е, 3-е, а когда до конца дойдёт, начинал цикл заного ?

    Его можно использовать для импорта уникальных коментариев из закрытых групп вконтакте в базу данных, под всеми опубликованными новостями. То есть спарсить и указать ID всех опубликованных новостей в базе - {1|3|10|...|100500} настроить шаблон вывода, парсить и импортировать коменты в базу. Я думаю если все новости на сайте копипастные и одна новость занимает 5-10% всего текста на странице, а уникальные коментарии занимают 90-95% текста на странице, то страница на 95% уникальна и сайт не попадёт под панду и пингвина :)
     
  11. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    предложение - дополнить функциональность программы возможностью запуска после/до парсинга не только php-скриптов но и *.js. насколько я понимаю, при этом отпадет необходимость муторной установки и настройки php-интерпретатора и можно будет через CD рулить файловой системой резидентного компьютера (очищать конкретную папку до/после парсинга и многое другое).
    в частности, легко решится вот эта проблема -
    http://forum.sbfactory.ru/showthread.php?p=3455#post3455

    P.S. реализовано в версии программы 2.80. предложение неактуально.
     
    Последнее редактирование: 5 окт 2012
  12. zilon

    zilon New Member Пользователи

    Регистрация:
    24 дек 2011
    Сообщения:
    80
    удалено.
     
    Последнее редактирование: 26 окт 2012
  13. braind

    braind New Member Пользователи

    Регистрация:
    18 дек 2011
    Сообщения:
    16
    насколько я понял, этого нет в программе, если я ошибаюсь - поправьте.
    Мое предложение - сделать запуск парсинга через командную строку с указанием источников парсинга (файл с URL). Это позволит использовать программу как автоматический парсер с такими плюсами как запуск по крону.
     
    Последнее редактирование: 9 ноя 2012
  14. zilon

    zilon New Member Пользователи

    Регистрация:
    24 дек 2011
    Сообщения:
    80
    Можете сделать чтобы при парсинге повторяющихся границ, не сохранялся документ, если одна из границ не найдена вот Ссылки недоступны для гостей очень нужная вещь

    или можете сделать функцию - "если одна из повторяющихся границ парсинга оказалась пустая, выводить вместо неё следующий текст" и окошко куда текст вводить
     
    Последнее редактирование: 6 дек 2012
  15. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    хм.. а разве [MUSTBE] в шаблоне не решает эту задачу?
     
  16. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    посмотрите описание макроса [IFNIL]
     
  17. zilon

    zilon New Member Пользователи

    Регистрация:
    24 дек 2011
    Сообщения:
    80
    забыл написать, я вывожу все границы по очереди через <CD_CYCLE_GRAN_ALL!> то есть [MUSTBE][/MUSTBE] и [IFNIL] не подходят

    у меня повторяющиеся границы, сохраняются и выводятся вместе с границами парсинга, а границы парсинга в шаблоне вывода, макросом [REPLACE(|)][/REPLACE] , меняются на часть скрипта для импорта в базу, то есть 4 границы меняются на 4 части скрипта для импорта в базу.

    Если вторая граница парсинга не найдена, что вторая часть скрипта не выводится, вот как на скрине Ссылки недоступны для гостей правильный скрипт выделен, а после него идут "половинки", потом я этот скрипт заливаю на хостинг браузером открываю и всё все комментарии в базе и выводятся на сайте. А если хоть один скрипт сохранится не полностью то, эта критическая ошибка, а в одном скрипте по 200-500 спаршеных страниц а на каждой странице по 1-20 скриптов

    я хотел на пехе сделать чекер который будет удалять строки в которых нету "?>" но исходники скритпа, обрабатывается сервером а мне имено они нужны

    если бы вместо пустой границы парсинга можно было бы вставить текст, то я бы выводил примерно такой код

    и критической ошибки не было бы и всё импортировалось бы в базу
     
    Последнее редактирование: 7 дек 2012
  18. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    ///удалено. поторопился с предложением.

    P.S. неплохо было бы дать форумчанам возможность удалять свой собственный пост.
     
    Последнее редактирование: 10 дек 2012
  19. warpes

    warpes New Member Пользователи

    Регистрация:
    12 дек 2012
    Сообщения:
    5
    Есть предложение окно:Генерация html сайта, сделать изменяющимся т.е. чтобы можно было увеличить на весь экран и спокойно работать с кодом. А то сейчас не очень удобно работать, спасибо.
     
  20. Leksey_G

    Leksey_G New Member Пользователи

    Регистрация:
    21 дек 2012
    Сообщения:
    21
    Есть предложение добавить в редактор CSV возможность работы с кодировкой UTF-8 без BOM.
     

Поделиться этой страницей