Предложения по улучшению программы

Есть проблема с чекбоксом "останавливать парсинг в случае бана".
Он срабатывает только при парсинге гугла, потому что тот программа при бане отдает Невозможно загрузить страницу и т.д
А вот при парсинге яндекса и бане отдает результирующий документ оказался пустым и продолжает парсить, удаляя ссылки впустую.
Не помогает и фильтрация по слову на странице, потому что если CD и видит что страница отфильтрована он не может остановить парсинг.
Прошу посмотреть, потому что я уверен это важно не только мне.
Спасибо.

 

Спасибо! Учтем.

 

Не знаю, насколько реально реализовать данную функцию http://forum.sbfactory.ru/showthread.php?p=4228#post4228 но она бы очень пригодилась для парсинга с тех же соцсетей.

 

Content Downloader 3 версии 3.11 (14.01.2013):

- Доработана функция "приостановить парсинг в случае бана" (отныне "приостановить парсинг при бане") при парсинге контента (появилась возможность указать номер обязательной границы парсинга).

 

было бы неплохо добавить автозагрузку проксей из URL, а то прокси дохнут прежде чем успевает выполниться задание

 

Добавьте плз авторизацию при загрузке проекта. Хотя бы обычную без get запроса..

 

1) При создании файла импорта хотелось бы чтобы программа запомнинала ранее использованные настройки, а именно: путь сохранения, чек бокс открывать папку по окончании, максимальный размер файла (kb).

2) При генерировании html сайта, файлы создаются в .htm а не в .html ? И почему я не могу использовать теги несколько раз, например тег <CD_TITLE!> я хочу поставить в title, description и заголовок статьи.

 

видео по парсингу сайта auto.ru устарело. какие будут советы по парсингу?

 

сделал несколько картинок.
Это те моменты, с которыми я столкнулся на сегодня (после 1 недели эксплуатации программы)

 

Во первых это не требования, а пожелания.
Во вторых в выходном прайс листе (для Excel) не нужны PHP скрипты, т.е. как их там использовать?
В третьих не все что указал решаемо тегом IMAGENAMES или другими (например условия для вывода результатов). Или заблокировать один или несколько из циклов в повторяющихся границах по ключу.

Если развивать эту тему, было бы хорошо получить доступ к массиву <CD_CYCLE_GRAN_1!> по элементно, т.е. <CD_CYCLE_GRAN_1![1]>,<CD_CYCLE_GRAN_1![2]>....<CD_CYCLE_GRAN_1![length]> и т.д. и т.п.
Т.е. начать делать своего рода язык программирования для результатов парсинга.

В четвертых еще один скрин - пожелание.... замучился уже (причем пробелы не учитывались бы как в ключе поиска так и в результате парсинга, а замена происходила так, как указано после символа "|")




На сколько я понимаю, вы делаете программу не только для злостных админов?
Конечно вы можете выкинуть все пожелания в топку. Ваше дело, т.к. программа ваша. Я просто пользователь который купил 2 ключа, и хочу чтобы программа делала "немыслемые" операции за смешные деньги. )))

 

если такое реализуемо в принципе - однозначно поддерживаю!

 

Мне вот сегодня тоже двойного {skip} не хватило. Вообще идеально было бы если бы в границах регулярные выражения работали

 

Сделайте пожалуйста перевод. API Yandex прикрутить к шаблону вывода не проблема, но вот в БД Joomla напрямую парсить нельзя. Остается только CSV. Но вот через PHP парсить в CSV издевательство.
Да и некоторые другие парсеры уже позволяют сразу парсить с переводом.
Вопрос очень актуальный.

 

Небольшой баг в CD: когда делаешь поиск по ссылкам, и если ничего не найдено то информ. окно выводится за окном поиска, и то и другое окно перемещать нельзя, и закрыть инфо сообщение только клавишей Enter можно, может все таки разрешить перемещать окно поиска?
имею ввиду когда делаешь поиск по CTRL+F.

или вывод сообщения о "не найденном" ниже или выше окна поиска, чтобы общую организацию процесса не портить

Еще нужен очень макрос "сортировки элементов повторяющихся границ по алфавиту и по длине" типа
<ALPHABET_SORT><CD_CYCLE_GRAN_1!></ALPHABET_SORT>
+
<LENGTH_SORT><CD_CYCLE_GRAN_1!></LENGTH_SORT>

Макросы из серии <TOPRICE*x> чтобы поддерживали выражения типа <TOPRICE*x+y> и чтобы поддерживали вложенность: т.е. несколько операций над ценой последовательно от внутреннего к внешнему макросу

 

Для гибкости решений задач, чтобы не только через поиск/замена работать.
Порой категорию/подкатегорию/подкатегорию легче получить именно циклическими границами, а для вывода использовать поэлементно. (и не только здесь).

Конечно можно разделитель границ заменить на ; - но при большом количестве столбцов теряется читабельность "Шаблона вывода".

И это не я выразился на счет массива, это просто по сути и есть массив.

Парсю одновременно 10+ магазинов, и у всех естественно разные настройки, но шаблон вывода нужно приводить к одному виду.

Что замечаю - то и пишу.