Предложения по улучшению программы

Пробывал скачивать каталоги товара с описание и не всегда скачиваются картинки, да же в пред просмотре в html вместо картинок квадратики (((

 

Сегодня задумался что предложить для улучшения именно парсера?
Очевидно что в инструменте подготовки импорта можно много чего добавить, чтобы облегчить жизнь молодым ГСоклепателям, к чему и сводятся все мои предложения.
Сам парсер работает отлично и я не знал что еще ему нужно, но пару часов назад меня осенило!
На многих сайтах нету страницы с картой сайта (такой, чтобы были гиперссылки), но зато почти на всех есть карта сайта вида Ссылки недоступны для гостей
Content Downloader у меня отказывается находить ссылки на xml карте сайта.
Добавьте, пожалуйста возможность взять ссылки из xml файла, причем с применением фильтров)

 

Есть пожелания:
1. для генерации html сайтов,
а. как уже говорилось, нужно сделать возможность регулирования количества анонсов на страницу;
б. латиница заголовка в урле страницы; ( в настоящее время берется из названия файла, но не всегда заголовок стоит в названии файла)
в. на странице категории вставлять название категории заглавием;
г. может не стоит на странице анонсов заглавия статей ставить в h1 (10 заголовков на одной странице в теге h1), хотя-бы в h2
д. не нашел сохранение проекта импорта html
е. было бы неплохо сделать вставку кода в текст (для html). например адсенс вставить
2. для импорта в cms поддерживаю рандомное время отложенной публикации;
также есть пожелание, чтобы была возможность выбора материалов на отложенную публикацию

 

Всем спасибо, постараюсь осуществить побыстрее (уж очень времени не хватает).

 

Добавить функцию очистки html кода от различных <div> , <span> и тому подобного.

 

+1 чтоб вместо них тупо ставил <p>

 

Здравствуйте!
Приобрел не так давно, но точно могу сказать софтинка очень хороша и уже приносит свои плоды. За это создателю огромное спасибо!
Но есть одно предложение, по доработке.... Лично в нем нуждаюсь, но думаю, что после реализации будет полезна (доработка) всем.

Программка хорошо парсит, достойно генерирует html сайты и также достойно готовит файл импорта wp. Но у всех этих сгенерированных сайтов, остается один существенный недостаток - не уникальность текста. При желании сделать спарсеный текст читаемым для посетителей прогнав его через базу синонимов, добиться уникальности более чем 30% не удается. Сами понимаете как выглядит такой сайт в глазах поисковиков. А делать чисто ГС (с не читаемым текстом) только под поисковики сейчас не актуально.
Так вот предложение: разбавлять на автомате спарсеный текст уникальным (из отдельного файла), но при этом скрывать его от глаз будущих посетителей помещая в скрытые div-ы. А если бы еще этот текст (уникальный) разбавить нужными кеями, то вообще бы ему цены не было
Т.е. суть работы позаимствована у доргенов, и в итоге можно создать нормальный СДЛ (читаемый текст), но с уникальным на 80-90% контентом (для поисковиков), да еще и каждая страница заточена под нужный кейворд.
Как бы это хотелось реализовывать:
в закладке "автопростановка тегов" добавить следующее
- что вставлять - тег <text>
- путь к файлу с текстом
- после скольки символов вставлять (а лучше - после какого количества предложений)
- количество предложений вставляемого текста - выбирает рандомно в указаном диапазоне (например от 5 до 8 случайных предложений из файла с текстом)
- стили DIVa в который будет помещаться тег <text> (для того чтобы можно сделать его скрытым)
- кейворды - путь к файлу с кеями (по одному кею для каждой страницы)
- плотность кеев (в процентном соотношении).

Ну вот как бы все. Надеюсь понятно свою мысль изложил
Еще раз спасибо автору за полезный софт!

 

Спасибо, понял, будем думать в эту сторону.

 

Можно ли реализовать при обработке и импорте контента, сделать сохранение проекта, чтобы в дальнейшем продолжать обрабатывать.

 

Можно, в планах, сразу после реализации более важных идей.

 

1) Хочется ещё добавить чтобы можно было указывать поля по бокам парсинга и чтобы при записи в файл спарсенное записывалось между этими полями.
Ссылки недоступны для гостей
2) Можно прикрутить такую функцию в сканер?
1 стр Ссылки недоступны для гостей
2 стр Ссылки недоступны для гостей
3 стр Ссылки недоступны для гостей
и затем ограничение на количество найденных ссылок на каждой из страниц, вот именно в этом варианте хватает примерно 30шт
http://domen.com/201{num}/{num}/{num}/1/xxx.html и ограничение чтоб можно было выставить
как то так
3) Ещё хотелось бы чтобы можно было делать замены в каждом из парсенной информации...
Т.е. была "кнопка замен" и там 2 поля "что заменить" и "на что заменить" для каждой парсенной информации разные... Т.е. как вариант с фильтрами ссылок, например 1 строка первого поля = замене 1 строки второго поля, 2 строка = замена строки 2 строкой второго поля, третяя строка = замена строки третей строкой второго поля и тд...
Не знаю почему ещё никто такое не предложил автору. Отписался ему, надеюсь быстренько всё реализует
4) Ещё хотелось бы функцию удаления такого кода:
<!--AljkjhhdАбыывор--> <!--/AljkjhhdАбыывор--> Т.е. чтобы была галка - "удалить HTML комментарии"

 

Нашёл вариант как бороться с комментариями, но хотелось бы делать это галочкой в настройке проекта...
А так приходится заходить в массовую обработку файлов:
Ссылки недоступны для гостей

 

Можно ли сделать так, чтобы парсить сайты в web.archive.org.

 

Очень нужно чтобы сканирование ссылок велось в несколько потоков, чтобы была возможность задать количество потоков при парсинге ссылок.
Например как при парсинге контента можно задать от 1 до 10.

 

А в чем проблема, разве сейчас не парсятся?

 

Пытался скачать с одного буржуйского каталога статей - забанили.

Использование прокси не помешало бы...

 

Ок, в планах, хотел бы уточнить пару моментов по прокси, стукните пожалуйста в ICQ 571-880-051.
Спасибо.

 

Нужно попробовать его в связке с TOR может и не понадобится отдельно прокси делать, тем более их чекать нужно.

Статья по настройки tor для ie (т.е. всего исходящего трафика)

 

Возможно сделать импорт из файла, подготовленного для CMSimple? И экспорт в этот формат. Необходимо, для совместимости с программами по уникализации контента.
Затем, интересует возможность изменения тайтлов категорий.

Например, для создания иноязычных сайтов. Интересует возможность изменить и меню навигации по сайту: Карта сайта, читать дальше и пр. - с той-же целью.
Как вариант, вынести их в отдельный файл, пригодный для редактирования.
Или возможно, всё это доступно - справки просто по программе нет...

 

Подскажите, пожалуйста.

Например, я спарсил сайт. Получилось множество html-файлов.
Далее я хочу в тексте каждого из получившихся html-файлов вставить свою уникальную ссылку (или несколько уникальных ссылок).

На данный момент в проге можно:
- вставить в начало док-та
- вставить в конец док-та
- на указанную строку
- вставить после каждой строки, содержащей ""

Но вот в чем проблема. При данной вставке в каждый мой html вставится одно и тоже. А например, у меня есть пачка разных ссылок и в каждый спарсенный html я хочу вставлять именно разные (уникальные) ссылки. Как тогда быть?