Нужна удочка

Вчера весь день убил, но ничего не получилось, знаний маловато.
Собственно пациент:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

С первого взгляда мне показалось, что это повторяющиеся границы, я создал проект и спарсил... но как оказалось большинство характеристик осталось за бортом

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Изображение продукта имеют ссылку вида

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

При нажатии на картинку (classname glc-image) появляется окно о всеми характеристиками, где ссылка "Подробное описание" это полная ссылка на товар со всеми характеристиками вида

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Задача собрать ссылки на товары со страницы с полными характеристиками вида

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

а дальше я умею.
Sitemap.xml у сайта вроде нет.

 

Здравствуйте.

Простите, но долго вникать в это не имею времени. Прошу обозначить задачу попроще, а именно:
Вот есть страница (URL) и нужно собрать с нее вот такие вот ссылки (указать URL или выделить их на скриншоте).

Спасибо!

 

Cсылки под "кнопкой" как на авито, только вместо кнопки используется изображение товара.
Ссылка на коллекцию

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

прямая ссылка на карточку товара

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

если на странице коллекции кликнуть на изображение первого товара, появится карточка товара в которой

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

и есть ссылка на полную карточку товара

 

Сканером (ctrl+7) пройдитесь по сайту и соберите конечные ссылки типа:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Ведь их же вам надо получить...

 

прошёл сканером и получил ссылки вида:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

то есть ссылки на коллекции и страницы, карточек товаров там нет...

но если мы загуглим

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

то вторая же ссылка в гуле выводит нас конкретно на ссылку с карточкой товара , а не на коллекцию... чудеса

 

Здесь методом POST ссылки можно получать, подставляя в параметр id:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Как это делать с помощью ContentDownloader не знаю. Разве что через PHP скрипт.

 

виноват, глубина стояла на 3, сейчас переделаю

 

Ссылки стали глубже, но карточек товара так и нет, печаль

 

У меня нет идей по поводу парсинга этих ссылок. Простите.

 

ну ладно хоть не я один такой )))

 

Завтра на работе попробую найти решение, если еще интересует конечно, пока только выяснил количество товаров. Если не ошибаюсь то 2083. (ID начинаются от 1959 до 4042) хотя может есть пустые. Нет, товаров больше, придется только перебором выяснять.

 

9594 ссылок на товары, товаров на сайте указано 10838. Не знаю почему меньше, возможно из за того что коллекция тоже считается как товар, хотя насколько я понял что это вроде как комплект.