Предложения по улучшению программы

Если бы вы меньше думали вслух, я бы вам подсказал решение =)
Давайте уважать друг-друга, ваши недовольства тут ни к чему...

 

1) Выполните предпросмотр парсинга контента;
2) Закройте окно предпросмотра;
3) Нажмите Ctrl+L и увидите там одну строку с документом, который вы "предпросматривали";
4) Кликаете на него ПКМ -> "открыть папку с файлом";
5) При следующем предпросмотре в этой же папке будут появляться новые документы, которые вы можете открывать двойным кликом.

С уважением к вам, Сергей.

 

Закрытие программы

Сделайте, пожалуйста, запрос перед закрытием... Уже несколько раз случайно нажала на крестик, и программа закрылась, а я не успела сохранить проект, так что пришлось всю работу делать заново (((

И еще хорошо бы сделать так, чтобы не нужно было закрывать окно предварительного просмотра для правки шаблона...

 

Здравствуйте.

При закрытии программы все настройки сохраняются!!! Вы просто могли свернуть программу в трей и открыть новую копию (при сворачивании программы в трей сохранения настроек не происходит). Если не знаете, что такое трей - то это значки справа внизу.

Теперь, что касается редактирования шаблона вывода при предпросмотре:
- Можно делать предпросмотр результатов парсинга прямо из редактора шаблона вывода, нажав ctrl+q (LiveView)
- Можно редактировать шаблон вывода прямо в окне предпросмотра (смотрите вкладку "шаблон вывода" в окне предпросмотра)

С уважением к вам, Сергей.

 

Возможно я что то упустил, но вот такой вопрос. Когда работает сканер сайтов нельзя ли сделать функцию сохранять страницы сайта, чтобы потом когда парсить сайт по отфильтрованным ссылкам брать из кеша для парсинга, а не по новой идти на сайт. Или это туфта?

 

Этот запрос не помешал бы во время процесса парсинга, а во время простоя программы он действительно ни к чему.

 

Kreol
Я всего-то имел ввиду защиту от случайного закрытия программы при случайном нажатии на кнопку "х" во время парсинга или сканирования, а о чем вы - я не знаю.

 

Зачем так грубо опять?

Решить Вы можете - сами писали об этом.

Если бы Вы дали фрагмент кода, который отвечает за парсинг сайта, я бы мог Вам помочь доработать Программу работать более оптимально и более экономно использовать память.

 

Есть только один вариант для многомиллионных ссылок: это отказаться от TStringList для построения списка и кидать всё БД. Но это может осложнить работу неискушенным пользователям (то есть тут надо сразу продумать ещё и визуальное взаимодействие с БД).

 

Ну не знаю, допустим в БД несколько таблиц: каждая таблица - это отдельный список url; в таблице 2 столбца - инкремент и собственно url. Это минимальный набор, так сказать. Вот

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

, которую часто использую в работе с delphi. Технически, конечно, нужно будет продумать мини-интерфейс из CD.

Даже можно попробовать sqlite - она файловая. А файл можно пихать прямо в проект. Ну или Firebird через ADO.

 

Как вы не понимаете )))

БД будет на диске лежать! При запросе к БД будет хард напрягаться (хоть и незначительно). А запросов таких ну очень много!!! Потом повыкидываете винты, я могу ошибаться, конечно... Но ни с какими БД тут дело иметь не надо! Все ссылки должны быть в памяти...

Если вам угодно, лучше просто напишите отдельную утилиту типа сканера сайтов...

 

В общем я уверен, что игры с БД для создания сканера - не хорошая затея (ну не годится БД для этого). Если кто видит в этом перспективу - пожалуйста, пишите утилиту... Потом все равно, думаю, вернетесь к хранению списков ссылок в памяти.

 

Windows уже много лет кеширует обращения к диску, с этим проблем нет. Да и тот же sqlite можно и памяти держать (файлик в несколько десятков мегабайт). Вопрос был не в БД, а именно в том, как избежать построения TStringList. Причем он, бывает, падает и на относительно небольшом количестве, если при этом сам урл очень длинный.

Мне вообще лично не особо нужна эта функция, т.к. я в таких случаях дроблю список на проекты (тем более, что можно тогда работать в 250-300-450 потоков).

Был бы API - я бы написал всякого

 

Стринглист или Generic Collections (тоже как-то использовались в одной версии программы) жрут одинаковое количество памяти (хотя технология работы у них совершенно разная). Никаких сбоев, думаю, они давать не могут! Не наговаривайте, пожалуйста). Сбой может быть только в процессе Windows при переполнении квоты памяти!

По поводу 250 - 300 - 450 потоков:
Ну да, большие числа мы все любим, особенно шестизначные))). Но вот почему же Microsoft, чьими системами мы пользуемся, не рекомендует использование более 50 потоков =).

Мало кто задумывался, как происходит переключение потоков). По сути в 1 момент времени выполняется один поток и Windows их вот так вот быстро-быстро переключает между друг-другом и у нас получается многопоточность (я могу ошибаться, но пришел я именно к этой мысли)!

Сам же процесс переключения потоков (смены активного потока), как можно догадаться, тоже требует определенных ресурсов системы (а если потоков 300 или более). По этому, я считаю (опираясь на данные от Microsoft), что нет смысла использовать более 50 потоков.

 

Идея с БД и сканером сайтов, ну, я в ней смысла не вижу). Винт, конечно, может и не сгорит, как я писал выше, но скорость работы сканера на БД, по моим прогнозам, должна сильно упасть!

По этому, я считаю, что лучше найти способ парсинга больших сайтов частями. Тем более, парсинг более 1 миллиона ссылок - задача очень и очень редкая (я, поверьте, знаю)!