Предложения по улучшению программы

Также, мне кажется, было бы очень удобно, если в качестве меток выбирались не все слова подряд, а только те, которые мне наиболее интересны.

Т.е. у меня например есть txt-файлик, где построчно забиты мои ключевыи слова. Что-то вроде:

машина
автомобиль
поезд
самолет
...

Я указываю данный файл как источник меток, проставляю кол-во меток и как результат, если в спаршенном тексте программа находит указанные мной фразы (автомобильный, поездом, самолетный...), то слова, в которых эти фразы содержатся, будут использоваться в качестве меток.

Используя данный метод можно также решить проблему, указанную мной в предыдущем посте. А именно: реализовать возможность замены меток на мои ссылки (любой текст). Ссылки при этом чтобы можно было указать как одну для всех, так и прикрепить файл (тогда простановка ссылок будет происходить не хаотично, а с учетом имеющихся меток и соответствующих ключей в моих ссылках).

Как-то так

 

Ждать новой функции)

 

Почитал пожелания других пользователей, многие направлены в сторону генератора сайтов, типа nazvanie-zagolovka-v-imeni-faila.html, регулирование материалов на странице, расстановка тегов, карту сайта и т.д.
Такие пожелания будут до бесконечности.
Ведь весь этот функционал (и в 100 раз больше) давно реализован в том же Red Buttone, который есть в паблике (последняя версия в моей раздаче на nulled) и в других доргенах. Конкурировать с ними просто бессмысленно, тем более, что можно достать их бесплатно.

Моё предложение просто расширить шаблон вывода материалов и софт станет универсальный, для любой cms и любого доргена.

например Для Joomla

arr["joomla"]="INSERT INTO `jos_content` VALUES (\[TITLE-TRANSLIT]', \'[TITLE]\', \'\', \'[TITLE]\', \'[CONTENT]\', \'1\', \'4\', \'0\', \'14\', \'2009-02-16 17:01:15\', \'62\', \'\', \'2009-02-16 17:01:16\', \'62\', \'0\', \'0000-00-00 00:00:00\', \'2009-02-16 17:01:16\', \'0000-00-00 00:00:00\', \'\', \'\', \'\', \'3\', \'0\', \'6\', \'\', \'\', \'0\', \'112\');";

Думаю общий смысл понятен. Пишу любой шаблон (в примере подставляю макросы, для бд)
Добавить макросов, типа title, транслит title (для чпу в cms) description, keywors. ну и дату для генерации диапазонов дат.
Т.е. софт станет под любую cms

А для доргенов достаточно будет раскидать эти макросы, в зависимости от необходимости, например для RBT
использует параметры из файла или файлов
ключевик;параметр;параметр1;
т.е. в Content Downloader мы пишем
[TITLE];[CONTENT];
и на выходе получаем готовый материал для rbt
или
[TITLE]табуляция[CONTENT]табуляция[KEYWORD] --> сохранить в csv и получим разбитый на колонки шаблон, каждую колонку можно скопировать и вставить в отдельный файл, т.е. получим файлы, отдельно заголовок, отдельно материал, отдельно ключивики. Использовать в любом доргене, который берёт материал из отдельных файлов.

Генерацию html сайта с такой реализацией, думаю стоит убрать, в ней просто не будет необходимости.
Настоящие профессионалы работают именно с доргенами, а всякие школьники просто будут доставать, добавь это, добавь то...

Усовершенствование будет только по макросам, типа кто-то захочет транслит через тире. а кто-то через нижнее подчеркивание и т.п.

 

Какой смысл превращать отличную программу в приложение к доргену? ГС клепать можно и более примитивными способами. Никто не против дополнительных форматов вывода, но убирать к примеру поддержку .html - контрпродуктивно. Именно наличие вывода в этот формат было одним из факторов, почему я приобрёл программу.
З.Ы. Ориентация на "профессионалов" - ущербна. Псевдопрофессионалы не смогут обеспечить достаточного числа продаж. Имхо.
Кстати, чтобы привлечь значительное число покупателей, возможно стоит задуматься о выводе в форматы, не поддерживаемые конкурентами. Например, в ласто-блог - с того-же нулледа число покупателей будет значительным. Экспорт в эту КМС востребован.

 

Proteus - это ваши предыдущие предложения:

Я сейчас может удивлю, но всё это делает RBT и ещё многое другое. что вы потом захотите добавить в программу, а аппетит будет расти.

Я почти это и предложил - универсальный экспорт

Всё это делают профессиональные доргены.

Если вы хотите серьёзно зарабатывать, больше чем 100$ в день, переходите на серьёзные продукты, которые под это заточены, а Content Downloader может стать отличным инструментом подготовки именно материалов.

 

Трансформер способен создавать сайты без микса - с читаемым контентом?
Дайте справку, как сделать на нём MFA.

 

Новые макросы в rbt
[KEYID], [KEYID1], [KEYID2], [KEYID3], [KEYID4] — при использовании в файле с кеями формата ключевик;параметр;параметр1;параметр2;параметр3;параметр4, макросы заменяются на соответствующий параметр (например: в файле с кеями – viagra;sait_com/viagra.jpg;myshop.com/buyviagra.php, в доре – на страничке оптимизированной под кей viagra, макрос [KEYID] заменится на урл картинки с виагрой, а [KEYID1] – на урл со страничкой Вашего шопа с заказом виагры)

Т.е. это будет например виагра;тут длинная статья про виагру;тут ссылка - это то, что сделает Content Downloader, а дорген просто соберёт. Многие доргены могут создать осмысленный сайт, но нечем собрать статьи со связанными картинками и ключевиками.
я обо всё этом написал выше.

Можно скачать здесь
Ссылки недоступны для гостей

 

Спасибо за классные предложения, огромное спасибо!

В скором времени сделаю импорт в КМС по шаблону. Можно будет просто дампы MYSQL для любой CMS создавать.

 

Самое оптимальное, если будет отдельная папка где будет что-то типа wp.txt joomla.txt dle.txt свой_шаблон.txt а на странице "Обработка и импорт" просто выпадающий список с cms, по клику вставка шаблона.

Ещё вчера столкнулся с такой ситуацией. Напарсил пару тысяч страниц на которых было, что-то типа

Менеджер Катя katy@sait.ru на другой странице
Менеджер Ира ira@sait.ru

Т.е. контакты отличаются, а мне нужно заменить. например на свои.

"Поиск и замена" не нашёл. (может не заметил? )

Есть хороший Инструмент «Чистка документов», где нужно вписывать в поле от и в поле до, почему бы не сделать одно поле и писать <table id=”link”*> т.е. использовать макросы, в дальнейшем макросы можно расширить, типа

* - любое кол-во символов
? – любой один символ

А второе поле использовать для замены, если ничего не прописано, то удалять указанный диапазон.

И использовать построчную замену, то что в первой строке, заменит на то, что в первой строке соседнего поля.

Вообще самую лучшую и простую реализацию поиска и замены я видел в программе HTMLchanger в ней не большой набор макросов, который позволяет сделать любые замены, т.е. в будущем можно будет позаимствовать идеи.

 

Хотелось бы автоматизировать процесс разбивки по категориям. Например добавить 20 в каждую, жмешь на кнопку и автоматом раскидывает по 20 в каждую категорию, лишние остаются в общей категории.

 

1. Почему вставляются только внутренние ссылки вида site.ru, а Ссылки недоступны для гостей нет, можно доработать?
2. Можно доработать чтоб в описание вставлялось например первые 200 символов до точки.
3. Нужно сделать чтоб можно было изменять названия страниц article_ , не устраивает.
4. В описании добавить возможность удалять переносы строк.

 

Предложение добавить во вкладку "Уникализация контента" Google перевод

Выбор языка --> Выбор языка --> Выбор языка
например перевод с анг на русский и
перевод с рус на анг и обратно в рус

Синонимизация потихоньку умирает. (Smartrewriter имеет хороший алгоритм, но почему-то не интегрирован полностью с Content Downloader, сделать типа отправить в Smartrewriter, а в нём отправить обратно.)
При переводе полностью остаётся правильность построения предложения, но при этом меняется порядок целых словоформ и шингл. Меняется расстановка пунктуации.
Некоторые тексты получаются очень читабельные и на 100% уникальные.
Да и переводчик в целом очень даже бы не помешал ) Если грабить иностранный сайт, на каком-нибудь немецком языке, и переводить его на русский, то вообще будет супер. ))
Данную методику используют все современные граберы, имхо поисковику просто не реально распознать в таком тексте не уник.
Единственный недостаток этого метода - это если в тексте есть слова с ошибками, то это слово может не перевестись и в конечном результате русского текста, будут англ слова или наоборот. Но можно, например добавить очистку всех англ слов или русских. Т.е. нажал в русском тексте на очистку "англ" и весь текст только с кириллицей останется. Или по клику выводить все англ\русс слова в окне и самому изменить с сохранением, это например что бы не потереть нужные слова, например в русском тексте такого вида "телефон nokia7700"

ну и второй косяк - это google коверкает html, пример
1. <h3>Заголовок</h3> на выходе <h3> Header </ h3>
2. <h3>
Заголовок
</h3>

на выходе

<h3>
Header
</ H3>
Т.е. нужно будет все теги в нижний регистр опускать и заменять </пробел на </без пробела

--------------------
Кстати, в описание Content Downloader, можно сейчас добавить: подготовка материалов для граберров, лично я использую программу для RSS Grabber (подготавливаю html карту), что позволяет создавать короткую новость из полученной html ленты.

 

переводчик +1 =)
Предлагаю внедрить SEO-модуль в массовую обработку!

 

Хотелось бы не ограничивать количество границ парсинга.
А добавить кнопку "добавить границу парсинга"
Таким образом можно будет разбивать напарсенное.
Например нужно спарсить описание товара, и разбить его по тех характеристикам.
Установил для парсинга разные границы > сграбил то что требуется > при обработке разбил/переставил как тебе требуется - вывел куда нужно

 

В ближайших планах, следите за обновлениями.

 

Буду ждать с нетерпением

 

Да переводчик как нибудь через что-нибудь прикрутить было бы очень неплохо. Даже очень очень очень неплохо. могет быть даже как-нибудь через базу гугла например. Он по мне лучше чем промт переводит во много раз. Боле осмысленное получается и меньше переделывать приходится. Вот вчера заморочился перевести файл импорта через промт. Сделал стоп слова, чтобы теги не перводил вообщем. на выхлопе получился вроде то же самый файл импорта только статьи на руском, НО джумла такой импорт почему-то не воспринимает((( И ошибку не могу в коде найти хоть ты тресни. Может кто подскажет чем можно файл импорта перевести или массово спарсеные страницы? Был бы очень рад

 

Проверь кодировку полученного файла после перевода, должна быть utf-8, если с кодировкой все нормально, то уменьш размер файла.

 

Предлагаю сделать запись границ, как в других парсерах, через {get} - забирать и {skip} - любой набор символов

Пример записи:

<td clas="content{skip}>{get}</td{skip}</table><div id="post{get}<div><a href={skip}<p>{get}</p>

Т.е. можно писать условий парсинга сколько угодно, в одном поле.

Визуализацию выбора оставить, чтобы помогала делать запись.

 

Будет 8+2 границ. Если не хватит, еще добавлю.