Парсинг идет в базу sqlite3, она и скрипт на локалке(openserver). Сейчас 1-2 документа в секунду. Всего их около 1,5 миллиона. Крайне медленно. Посмотрел ресурсы: проц не более 10% загрузки, оперативка 1,9 из 4 максимум. Диск загружен на 100%. Что он делает с диском? Можно ли как-то ускорить процесс? Где узкие места? И еще вопрос: можно ли отключить создание файлов в c://content/ не вижу в них смысла.
Здравствуйте. Возможно, так работает локальный сервер. Поместите все содержимое шаблона вывода (ctrl+2) в макрос [CLEAR] Тогда сохранения документов на диск происходить не будет. С уважением к вам, Сергей.
За CLEAR - спасибо. За локальным сервером подобного поведения не наблюдал. Там в скрипте логика минимальная. Да и 2 запроса в сек для него не проблема. Единственно грешу на sqlite3. Не работал с ней раньше. Может она медленная.
Может быть. Content Downloader к локальному диску обращается только для записи файлов (но у вас этого не происходит). Как я понял, вы используете макросы <PHP_SCRIPT> для обращения к локальному серверу. В этом случае, со стороны Content Downloader тоже проблем быть не должно. С уважением к вам, Сергей.
Скорость упала до 0,8-1.2 Поговорил с заказчиком, уговорил отказаться от sqlite в пользу mysql. Запустил тот же проект с теми же условиями - скорость поднялась до 8-10 в секунду. Всем на заметку sqlite - годится только для маленьких баз и если нет возможности подключить нормальную СУБД