Сложный сайтик, помогите

Добрый день,

Нужно спарсить все компании по категориям с сайта.
Ссылки недоступны для гостей
Проблема с которой сталкнулся, в html коде нет элементов страницы, они как то спрятаны.

Для начало решил собрать ссылки на страницы компаний,
Ссылки недоступны для гостей до Ссылки недоступны для гостей

но через закладку ссылки CD не находит данные, дальше на страницах компаний та же история.

Буду признателен за помощь , также готов оплатить ваши услуги за полное решение.

Благодарю!

 

пытался собственными силами с примером Ссылки недоступны для гостей найти решение, но так и не смог.

Поэтому прошу вас господа посодействовать.

 

Здравствуйте.

• Ссылки недоступны для гостей

 

Сайт не сложный, просто нужно Вам почитать мат часть)

 

Добрый день!

Ненужно парсить ссылки сканером. Вставьте в шаблон генерации вставьте такую конструкцию Ссылки недоступны для гостей и сгенерируйте ссылки с 1 по 1543. В фильтре включить пункт "и/или" и использовать такие данные:
firmy.cz/detail/
.html
Ну и самое главное - в Настройках HTTP запросов поставьте галочку DOM в пункте Ссылки и выберите библиотеку Clever Internet Suite. С такими настройками стали собираться ссылки. Правда очень медленно!

 

я посмотрел то что вы прислали и на подобии в окне сканер сайтов, сумел собрать ссылки на компании, и как gans написал, очень медленно.


вопрос - каким образом после сбора ссылок парсить страницы компаний? также через DOM, по 30 сек на страницу или есть возможность это обойти?

Благодарю

 

gans, после сбора ссылок, как парсить сами страницы компаний? также через DOM? по 20-30 сек на страницу?

 

Ссылки недоступны для гостей

 

Ключевое слово здесь - DOM. По поводу ускорения Root дал исчерпывающий ответ.