Кракозябры вместо букв при обработке и импорте контента

Здравствуйте.
Я спарсил сайт в htm файлы с кодировкой UTF-8. Но при включении функции "обработка и импорт контента в CMS" и добавлении туда файлов программа почему-то показывает кракозябры вместо букв НЕлатинского алфавита или букв типа è, ä в немецком или испанском языках. Вот скриншоты из программы Ссылки недоступны для гостей, Ссылки недоступны для гостей. Соответственно когда создаётся xml файл импорта большинство текстов получаются с кракозябрами. И, к тому же, почему-то в начале каждой страницы появляются знаки: п»ї
В самих htm файлах с буквами всё в порядке. Приложил их к тексту
В чем может быть проблема?

 

Установлена не правильная кодировка при передачи запроса в БД
Как вариант посмотрите Ссылки недоступны для гостей

 

По ссылке описано решение если кракозябры появляются в mysql. У меня же они появляются в Content downloader'е как я показал на скринах. Уже потом всё это"добро" записывается самой программой в файл импорта.

 

Ребята, помогите пожалуйста. Я так и не разобрался как исправить проблему.

 

То есть мне придётся весь сайт перепарсить? Там больше миллиона страниц. А в самой программе ничего поправить нельзя чтобы такой беды не было в дальнейшем?

 

Вы когда проект настраивали не увидели что вам показывает кракозябры?)
Нужно заранее ставить тип контента UTF8 и при записи вы БД тоже указывать UTF8, и саму базу держать в UTF8.

 

У меня и так всё в UTF8 стоит. Кракозябры сразу не заметил, потому, что он далеко не везде вылазят, а вручную тысячи документов проверять - не реально имхо.

 

Приложи два три файла.
С русскими и иностранными.

 

В первом сообщении прикрепил с испанским языком и японским. Также в первом сообщении скрины показал, как у меня это выглядит.

 

Так как решение не найдено, то у меня не остаётся выбора, попробую сайт перепарсить и импортировать в CSV. Скажите как мне запланировать постинг постов на период там в CSV файле?

 

Собственно у меня все хорошо отображается, оба файла что вы прикрепили.

 

Был бы CD open-source.
Можно было бы экспериментировать и делать изменения.
А далее скидывать готовый код(добавленный) root-у если он ему понравится.

 

Как я и писал, сами htm файлы нормально отображаются, проблема возникает в инструменте "Обработка и импорт в CMS", который их обрабатывает, вот Ссылки недоступны для гостейкак у меня это выглядит внутри CD.
Кстати пару месяцев назад я парсил японский сайт и всё было нормально, иероглифы отображались нормально. Может после последних обновлений что-то изменилось?

 

Впринципе если в браузере они видны нормально, их можно в таком формате записать в базу данных.

 

А как, можете подсказать? У меня под миллион этих htm файлов.

 

Кстати заметил еще проблему, может она является причиной. Когда я открываю инструмент "обработка и импорт контента в CMS", то выскакивает окошко "Out of memory" Вот так выглядит: Ссылки недоступны для гостей Как от этого избавиться?

 

Судя по интерфейсу вы еще на Win7?
Может и вправду out of memory :]

 

А при чём тут WIn7, железо у меня вполне хорошее, тем более это сообщение буквально недавно стало выскакивать. Я проверял, ОЗУ CD не нагружает особо. Так что я не понимаю, что является причиной этого out of memory. Мб кто-нибудь уже с этим сталкивался?