скрипт

Требуется минимизировать время обработки скрипта в CD.
Для этого нужно логирование работы проекта. Есть ли оно в CD.
Скрипт работает так.
Скачал нужные мне html файлы на локалку. 1 файл- 1 страница. Загружаю по урлу файл в CD.
Обрабатываю файл, нужные мне элементы пересылаю в скрипт php командой PHP_SCRIPT, DATAENCODE. С результирующим кодом, который мне вернул php сохраняю в отдельный файл.

При таком подходе в 50 потоков, у меня скорость 2,3-3 документа в секунду.
1 000 000 файлов будет обрабатываться 100 часов.
Диск при этом нагружен на 5%, процессор на 15%, оперативка до 9 гигов(есть запас)

Замерил время выполнения php скрипта и снизил его до 0,005 секунды.
Что нужно:
Замерить время выполнение каждой границы парсинга (как это сделать).
То есть, есть лив программе логирование подробное.
Где будет писаться, файл загружен за n секунд, граница 1 за n секунд, общее время n секунд

 

Вставляйте в начале и в конце парсинга каждого файла- макрос текущего времени

 

Обрабатывать файлы очень быстро можно на чистом PHP или bash.
Покажите пример файла, PHP скрипт и что вы хотите получить в конце

 

), спасибо. Это я уже знал и так.

 

Круто, пошел тестировать.

 

Странный совет программировать на чистом php, когда есть волшебный CD который делает всю грязную работу за меня.

 

Нужна помощь по макросу текущего времени. Я так понял макрос [CD_UNIXTIME] считает в секундах.
А есть ли макрос выводящий результат в микросекундах?

Так как иначе я вижу, что весь скрипт выполняется за 1 секунду. Время без изменений у меня. При этом 100 результатов выполняются за 27 секунд. То есть один скрипт выполняется за 0,3 секунды.