Парсинг ссылок с динамичного сайта (узнать адреса страниц с комментариями)

Добрый день,
Есть сайт на котором продаются определенный софт.

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Задача спарсить ссылки на профили пользователей, которые пишут комментарии к продукту.

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Трудность в том что не понятно как реализована система вывода контента на сайте.
Вот пример

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Вкладка обсуждение, я помещал все ссылки на все страницы (&page=3 ... &page=10), а он парсит всего несколько пользователей. Хотя на страницы их видно. Как спарсить ссылки на профили на этом сайте.

 

Здравствуйте.

Ссылки недоступны для гостей

 

Простите что не сразу ответил. Спасибо вам, помогли!

 

Добрый день, уважаемый Root. Долгое время ваш способ работал, но сейчас данная функция перестала работать, ну то есть в заголовке адрес тот же остался, а когда по нему заходишь в браузере или в программе парсинга сайтов, пишет ошибка 404 страница не найден. Может быть Вы или кто-то другой, может подсказывать, какой еще есть способ парсить ссылки с данной страницы.

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Заранее всем спасибо!

 

Если этот кусок кода на странице вам ни о чем не говорит, то тогда вам поможет только WBApp)

function overridePermalinks(placeholder,pageNum)
{
var permalinks = getElementsByClass("permalink",placeholder);
if(!permalinks || !permalinks.length)
return;
for(var i = 0; i < permalinks.length; i++)
{
var a = permalinks;
var commentIndex = a.href.lastIndexOf('#comment_');
if(!commentIndex || (commentIndex + '#comment_'.length) > a.href.length)
continue;
var id = parseInt(a.href.substring(commentIndex + '#comment_'.length));
if(!id)
continue;
var url = 'Ссылки недоступны для гостей' + pageNum + '&comment=' + id;
a.href = url;
}

 

Спасибо всем. Через "wbapp подключайте (ctrl+h) галочка Контент" работает.

 

Все привет, извините за простой вопрос, но сам не могу разобраться.
Расскажу как сейчас делаю, прошу сильно не смеяться надо мной.
есть сайт на котором мне надо спарсить ссылки

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

страница откуда надо парсить, имеет такой вид:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

и от туда я беру продукт продающийся там

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

на данном продукте страниц с комментариями 228 - ну бывает и продукты, где странцы например 14

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

В общем захожу в ручную на

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Беру продукт -

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Смотрю его кол-во страниц, в нотепад++ создаю все 228 ссылок вручную (пздц я чайник)

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Далее засовываю в парсинг и парсю пользователей добавивь в фильтр (/users/)
на выходе получается

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

А теперь когда вы все поржали, скажите, как можно оптимизировать и ускорить процесс.
Заранее спасибо!

 

Здравствуйте.

Через Firefox (shift+ctrl+i) можно узнать адреса страниц с комментариями:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Там же нужно узнать HTTP-заголовки и вставить их в поле custom headers (в окне ctrl+h в Content Downloader)

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Для парсинга всех таких страниц:
Ссылки недоступны для гостей

 

Добрый день, спасибо за такой полный и расширенный ответ.
Но дело в том что, сайт перестал отдавать инфу если заходить по ссылке

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

но парсит с адреса

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Как рекоммендовали далее включал и выключал wbapp (ctrl+h)

 

Вы не выполнили все указания из моего сообщения.

 

Да простите, сейчас сделаю полный цикл описанный вами.

 

Спасибо вам за то что вы даже проект сделали. Но все равно у меня не получается.
Загрузил ваш проект, запустил парсинг, он мне спарсил страницы с html со всем содержимым. Пробовал через парсер ссылок сделать, он не парсит ссылки которые мне нужны.
---
Может я не правильно задачу поставил.
Мне нужно спарсить всех пользователей, которые оставляли комментарии. Пользователи выглядят так:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

А парсер сам проходится по всем страницам от page1 до последней, и собирает на ней все ссылки которые имеют ввид

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Кто может помочь сделать проект, такой мне. Или наглядно по шагам объяснить, что куда тыкать.
Могу небольшую символичную сумму заплатить за беспокойство.

 

А вообще самый идеальный вариант, это я просто указываю начальную ссылку

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Парсер ссылок, собирает все ссылки формата

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Уже со страницами комментарями

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

И на выходе просто сохраняет всех пользователей, которые были на странице продукта
market/product/20937/comments/page1 ... loop and

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Я вам показал суть. Для доработки проекта нужно понимать ее.

Во всяком случае вы можете воспользоваться услугами по обучению или настройке Ссылки недоступны для гостей

 

Да я вам очень благодарен, что вы показали основы и суть, но к сожалению, дальше я не смог с этим разобраться.
Вам еще раз спасибо за все!

 

Обращайтесь с новыми вопросами.