помощь в парсинге определенного сайта

Увы, этот сайт никак...

 

а почему так ? что такого в этом сайте что не парсит ?

 

Сайт не отвечает на GET-Запросы программы. Менял user agent и hos и referer - увы, никак. У сайта разве нет альтернатив?

 

там несколько страниц... нету...
так там обічная джумла с модулем перевода... интересно почему оно так?

 

На сервере, видимо, какая-то защита от парсинга.

 

Подскажите, можно ли спарсить анекдоты с Ссылки недоступны для гостей

 

Пожалуйста.
Меню - файл - загрузить проект (требует последнюю версию программы, так что обновитесь).

 

Здравствуйте.Пытаюсь спарсить Яндекс каталог.Но в границах парсинга немного не разобрался.Как можно настроить границы парсинга в границах.Объясню на примере. Имеем код :
<ol start="1" class="b-result b-result_numerated b-result_imaged">
<li class="b-result__item">
<h3 class="b-result__head"><a href="http://www.make-up.ru/" class="b-result__name b-result__name_top" onmousedown="r(this,'ctya')" target="_blank">"Make-up.ru: мир косметики" </a></h3>
<div class="b-result__layout">
<div class="b-result__layout__l"><div class="b-result__screen"><a href="http://www.make-up.ru/" class=" b-result__screen_top" onmousedown="r(this,'ctya')" target="_blank"><img class="b-result__screen__img" alt="" src="http://cards2.yandex.net/cat-get/4106/0650d50cce3711de996dc1afc15d2acd.png"></a></div></div>
<div class="b-result__layout__r">.
Границы для парсинга <h3 </h3>.Как можно сделать так,чтобы из кода заключённого в эти тэги парсились только ссылки - границы <a </a>.
Или есть какой либо другой способ спарсить ссылки из ЯК.Например со страницы Ссылки недоступны для гостей
И ещё один вопрос.Где можно посмотреть список всех макросов для Content Downloader.Я почему то нигде не ногу его найти.

 

All is ok...

 

Задать повторяющиеся границы парсинга, где начало <h3 class="b-result__head"><a href=", конец "

 

Здравствуйте. Можно ли при парсинге сайта при включённой опции "Находить статью автоматически" сделать так,чтобы вконце каждой спарсенной статьи ставился URL на первоисточник или же обязательно надо составлять шаблон вывода и вконце вставлять - Источник:<CD_DOCURL!>.
Просто вариант с шаблоном не подходит ,так как на каждой странице сайта границы для парсинга разные.

 

Здравствуйте, макрос шаблона вывода для "автонахождения" статьи - <CD_AUTO!>. Используйте его в связке с <CD_DOCURL!>.

 

Здравствуйте.Спасибо за помощь.Шаблон вывода работает нормально.Но возник ещё один вопрос.Как сделать так,чтобы при парсинге не парсился определённый кусок документа.В частности,имеем текст:

<p>Стиль Арди - элегантная простота: в молодости актриса славилась любовью к водолазкам, коротким платьям и юбкам-мини, огромным солнцезащитным очками, топам в горизонтальную полоску (а-ля тельняшка) и трикотаж. Франсуазе Арди в любой одежде удавалось выглядеть стильно, шикарно и элегантно; на протяжении многих лет ее имя оставалось синонимом французского стиля.</p>

<p><img style="margin: 5px auto; vertical-align: middle; display: block;" title="Франсуаза Арди" alt="Франсуаза Арди" src="/cache/wo/wo.static.php?/images/stories/style/french-style-francoise-hardy.jpg" width="500" height="275" /></p>

<p>Она никогда не выглядела нарочито, ее стиль казался небрежным и естественным, поэтому если вы хотите воссоздать образ Арди, сведите макияж к минимуму (хотя следует заметить, что Арди очень любила стрелки на глазах).</p>

Как можно сделать так чтобы текст в границах "<p><img style" - "/></p>" не парсился.

 

попробуйте поиском и заменой
<p><img{skip}></p>|

 

<p><img style{skip}/></p>|

 

реально ли привести к виду который будет запросто приниматься интернет магазином - т.к. я бьюсь уже неделю, сграбил быстро, а вот потом приведение к виду магазина - это что-то

 

Конечно реально:

Вы должны четко знать как должен выглядеть CSV для импорта в ваш магазин.

Советы парсингу в CSV-файлы:
– Для сохранения данных в виде CSV-файлов произведите следующие настройки (все настройки выполняются во вкладке “контент”):
1) Включите галочку “использовать шаблон вывода” и отредактируйте шаблон вывода так, чтобы макросы были выстроены в одну строку. Разделять макросы следует ; (точкой с запятой – стандартный разделитель столбцов CSV).
2) Включите галочку “в один файл” и выберите расширение “csv”.
3) В группе “картинки” снимите галочку “абс. пути” и поставьте галочку “без адресов”.

Если и сейчас не справитесь, то закажите настройку у нас:
ICQ: 571-880-051
Skype: smartbyte_support

Успехов! Если что обращайтесь с вопросами, поможем!

 

Интересно, сработает или нет... а если попробовать вначале загрузить контент сайта с помошью PHP скрипта например.
А затем уже отправлять в парсер на обработку.

 

хочу спарсить сайт. настроил все. но парсинг парсит только 1 пост в начале странице на все страницах. Паршу в csv или ТХТ. Что делаю не так.

 

Нужно задать повторяющиеся границы парсинга справа (их 5).
Настроить сейчас не могу, так в данный момент проблемы с интернет и сижу через GPRS.