Предложения по улучшению программы

Есть надежда, что "задание границ парсинга" не будет ограниченной величиной и будет ограничено только задачей проекта а не желанием автора? Писать скрипты можно и без программы (я имею докидывать парсинг в выходной файл). Хочется ускорения работы. До VisualRipper'а еще скакать и скакать по этому параметру.

 

читать документацию умею. с GETMORECONTENT значительно медленнее все забивать и главное - ПРАВИТЬ. зачем плодить одну и ту же функцию? нельзя сделать одну и нормально?

мы говорим про профессиональный инструмент (которым зарабатываешь деньги, те время=деньги)?

я не понимаю кому 20 тегов для парсинга магазина (20-50 тысяч позиций) хватит. на детских товарах например вылезает до 40-50 полей.

если говорить про возможности, то на PHP или PERL то же самое можно сделать. но я так понимаю тут люди которым данный вариант не подходит.

 

добавить возможность сканировать локальные сайты (в сканере сайтов и далее). те URL вида "file:///C:/Users/Vasya/Documents/www/grab/site98/www.site98.ru/index.html

зачем? есть десяток зеркал (обновляемых в любом случае). надо по ним парсить контент. регулярно.

как применение - грабим часть сайта и по нему настраиваем парсер. чтобы не быть забаненным админом сайта/скриптом/капчей.

пока походу придется локальные сервера поднимать для этого.

 

если я правильно понял, чего хочет автор сообщения - то безусловно мысль очень стоящая. как-то раньше не приходило в голову. если усовершенствовать, доработать и упростить getmorecontent и cyclecontent сделав их гибрид с обычными 20 и повт. 5 границами, то при удачном "скрещивании" потребность в окне границ (20+5) вообще исчезнет. Останутся только 2 универсальных шаблона.

Мысль-то стоящая, но могу себе представить, сколько это мороки разработчику.

 

сам давно хотел предложить это, однозначно поддерживаю!!! еще хотелось бы чтобы в стартовом скрипте можно было прописать последовательность выполнения сразу нескольких проектов.

 

непонятно почему до сих пор это не реализовано.
толком а -автомате- по крону программу невозможно использовать.
программа написана в чистом windows-way стиле.

 

как делать обновленный список парсинга и грабить сайты за 1 проход (по интернету) каждый раз? а если ошибка парсинга и поменяли на сйте что-то координально?! при текущем функционале CD как-то затруднительно. а url http:// ftp:// file:// это как бы стандарт.

понятно , что можно нагородить еще десяток костылей к программе (автотыкалку мышкой для работы по крону, апач для локального сайта, переключалку проксей с тестом и загрузкой прокси-списков...)

но всего-то надо выключить windows-style и сделать:
полную реализацию URL.
полный импорт конфигураций из файлов по command-line.
возможность загрузки списка парсинга из файла.
загрузку прокси списков из файла.

если что-то возможно сейчас - поправьте.

а то вроде как и gui есть, а н нет - дописывайте шаблоны.
вроде как и шаблоны есть, а из вне - не задать через command line.

Есть макрос FILE, но он мягко говоря "слегка" только выполняет функционал по импорту. Нет общей идеи по работе в "батч режиме".

 

2ajvitca

в программе по моей просьбе несколько месяцев назад была введена функция SCANDIR.
чем она не устраивает?

 

тем, что ее нет в документации. телепатия не так развита как думают некоторые.

спасибо. попробую.

когда же автор возьмется за ум и напишет нормальную (видео зарисовки - для неработающих студентов с кучей свободного времени) документацию.

удобно конечно всех посылать на форум. "они там сами друг-другу подскажут и документацию за автора напишут.


наберите SCANDIR в поиске на сайте....

и вопрос - а зачем стандартные понятия заменять альтернативными вариантами? как я понял это не точный аналог file://
сейчас гляну. есть ощущение, что не совсем то.

 

в программе есть возможность добавления в список парсинга любых файлов с жесткого диска (зеленый плюс - добавить с файлы с диска). насколько я помню - обычное добавление - это файлы из выбранной папки (без подкаталогов). по меню, выпадающему на правую клавишу - можно добавить сразу все файлы в папке и всех ее подкаталогах.

в силу некоторых причин - мне надо было автоматизировать этот процесс. SCANDIR - указывает программе папку (без подпапок!) на жестком диске которую надо просканировать в поиске файлов для парсинга. т.е. идет автоматический поиск ссылок с жесткого диска без поднятия http-сервера. надо просканировать 10 папок - будет 10 строк начинающихся со SCANDIR. как-то так.

в принципе, описанная функция имеет смысл только при работе с планировщиком.

что же касается file:// - тут я вас не совсем понимаю. программа отлично понимает прямые ссылки типа C:\Program Files\НОВОСТИ\блаблабла.txt

 

Не часто, но бывает очень не хватает поддержки более одного {skip} в настройках границ парсинга.



Добавьте, пожалуйста.

 

Самая жесть - это настройка повторяющихся границ парсинга:

визуализация - только по 5 границам. надо сильно БОЛЬШЕ. лучше - unlim.

править их (повторяющиеся границы), скажем, когда надо посмотреть все проходы на странице - на автомате (нажав стрелку вверх для поиска в коде) видим только первое вхождение.дальше надо указывать номер вхождения. или гадать."очень удобно".

5 границ парсинга настраивал 2 дня. пока забросил. вылез глюк и ловить его стало очень сложно (надо еще пару дней... а еще надо добавлять и добавлять границы) за это же время обычных грананиц настроил на 8 сайтов. жесть.

поиск-замену нельзя отменить для проверки. приходится вырезать/смотреть/вставлять снова. на самом деле лучше бы иметь визуальную поиск-замену. те правим регулярку (или конструкцию из кучи {skip}) и видим что получается. лучше с возможностью сразу пробовать на куче страниц (например кликая по ним из списка).

и это только по верхам.

если что-то не так - поправьте. реально убили эти повторяющиеся границы своей недобротой (unusablity точнее).

 

SCANDIR можно запихать в планировщик? как?

file:// имеется аналог http:// . те полностью - со всей структурой сайта. включая вложения и подкаталоги. те сканим не удаленный сайт а локальный (например он зеркалится телепортом или wget'ом). причем, локальный есть и грабится регулярно в не зависимости от граба контента.