Парсер контента по ключевым словам

Можно ли CD применять, как парсер контента по ключевым словам, то есть задавать один или несколько ключей, CD идет допустим в гугл и по кеям парсит подходящею текстовку в папку. Если можно, то как это реализовать?

 

Ссылки недоступны для гостей.
Или можно введя поисковый запрос спарсить ссылки и на сайты и автоматически находя статью спарсить контент со всех сайтов - но придется чистить.

 

boodooboo, спасибо за ответ.
Позже планирую написать подробную инструкцию для парсинга статей по кеям с Google и доработать под это программу.

 

Не могу понять как под это дело составлять сам шаблон, после вставки урла Ссылки недоступны для гостей все дальше темнота, подскажите кто не будь ?

 

Тоже интересует этот вопрос. Программа мощная, и, видимо, каких-то специфичных знаний не хватает, чтобы такую задачу решить.

 

Анализируёте ссылки. При нажатии на ссылку после поиска открывается какой-то сайт. Вам нужно именно эту ссылку получить. Однако в коде Гугля ссылка не совсем "чистая". Прежде всего в начале идёт
/url?q=, затем куча ненужного нам мусора, который начинается с &sa=

Код:

<h3 class="r"><a href="/url?q=http://yandex.ru/advanced.html&amp;sa=U&amp;ei=DgceUJ3sPI2AhQfjs4DwBg&amp;ved=0CBoQFjAA&amp;usg=AFQjCNFNZqBfpYpmLvaQKJPH4Q--6jPE4g" target="_blank">Расширенный <b>поиск</b> - Яндекс</a></h3>

Воспользуйтесь макросами поиска замены, настройте фильтр ссылок так, чтобы эти дела удалялись (там уже есть поля поиска-замены), вот и всё. Ничего сложного.

 

Это все понятно. Проблема не в том, чтобы выпарсить сами ссылки, которые, к слову сказать, CD2 выпарсивает с гугля "на ура". Проблема в том, что я не могу найти как сделать так, чтобы CD2 понимал регулярные выражения при задании границ парсинга. И с обработкой текста конечного есть вопросы. Так, при чистке текста возникают проблемы если фамилия человека идет с инициалами. Программно такое сделать я знаю как, а регулярками не получается.
Я за сегодня набросал проект. Который, к слову, даже работает. Правда мусора в текстах очень много. Вручную отсматривать по 10 мегабайт на один ключ - не вариант. Особенно, если их сотни тысяч.

 

Я говорил о задании границ парсинга с использованием регулярок.

А насчет "поиска и замены", то следующая конструкция в нем не работает.

Останавливается парсинг, хотя в Notepad++ и EmEditor все работает.

 

В границы точно нельзя будет вставлять, но настройки из "поиск-замена" распространяются на конкретную границу

Всё зависит какие языки регулярных выражений используются. Я не уверен, что именно это поможет, но попробуйте "Элементы языка регулярных выражений" для .NET Framework 4 - Ссылки недоступны для гостей. В программах, работающих с использование NET Framework эти регулярки идут. Посмотрите ещё вот эту Ссылки недоступны для гостей

И ещё,- ради проверки, покажите страницу, на которой использовали регулярку, чтобы можно было протестировать

 

Спасибо, Valiks, теперь понятно. Если я все правильно понял, язык регулярок .NET Framework 4 - не поддерживает диапазоны. Поищу другое решение.

 

Я сам редко пользуюсь регулярками в CD по той причине, что ещё не встречал ни одного проекта, когда это было крайне необходимо. Практически всё решается средствами Content Downloader-а, без применения регулярок. Но, у каждого свои задачи. Надо понимать, что программа это просто инструмент (ради справедливости надо сказать, имеющий огромный потенциал возможностей), а уж как вы им будете пользоваться зависит прежде всего от вас, ваших умений и знаний.

 

появилась инструкция как парсить статьи с сайтов по ключевым словам?

 

Поделитесь кто нибудь инструкцией или проектом парсинга статей по ключевым словам. Пожалуйста!

 

Очень нужна помощь по настройке, необходимо парсить контент по ключевым словам с Google

 

Тема не новая но для но актуальная. Спасибо всем кто старался.

 

Доброго времени суток! Ищу видео или инструкцию по парсингу статей по ключевым словам из Google или Yandex но никак не могу! Уважаемые модераторы, могли бы вы оказать помощь по настройке был бы очень вам благодарен?! Пожалуйста прошу помочь! Цель наполнить свой информационный сайт на CMS Wordpress 1000 статей по ключевым словам за 3 месяца) Заранее благодарю! Если данная услуга платная, то готов отблагодарить) Заранее спасибо.

 

Здравствуйте! Подскажите пожалуйста, где данная инструкция! Спасибо.

 

Ссылки недоступны для гостей

 

Благодарю!