Парсинг dns-shop.ru

Здравствуйте!
Подскажите плиз, почему по этой ссылке нет цены в коде?
Артикул, название, категория парсятся без проблем.
Проблема появилась пару недель назад. Мозг сломал, не получается спарсить.
Включили какую-то защиту? Динамический контент? Какие ещё есть предположения?

При просмотре кода через браузер есть тэг <div class="product-price__current" .
При назначении границ через CD нет этого тэга.
Ссылки недоступны для гостей

 

Здравствуйте.

Парсите цены со страниц товаров (а не со страницы рубрики).

 

Если со страницы товаров, то слишком много ссылок получается больше 20к ((.
Если со страницы рубирики(категории) , то 1500 примерно

 

Цены там подгружаются доп запросами. Проще спарсить информацию со страниц товаров. Это не долго.

Если, все же, хотите парсить со страниц рубрик, можете парсить с помощью WBAppCEF (скрипты на WEB-странице подгрузят все цены).

Ссылки недоступны для гостей

Но, думаю, это будет дольше, чем спарсить информацию со страниц товаров прямыми запросами.

 

Купил обновление на 1год, установил CEF, все хорошо.
Сейчас возникает проблема включена опция"Сохранять КЭШ и авторизацию" и приходится парсить в 1 поток. Если галку отключить, то парсит другой город.
Много ссылок, вариант через заход в каждую карточку товар не подходит.
Как можно решить проблему? Или это предложение по улучшению программы?

 

Здравствуйте.

Спасибо за оплату.

 

Добрый день! У меня проблема следующего характера: выбираю для парсинга категорию "смартфоны" на первой странице прописал границы парсинга сгенерировал ссылки, при нажатии старта парсинг происходит только с первой страницы, открываю лог а там вот такая карусель Ссылки недоступны для гостей (потоки 1, ожидание 20000). Заранее спасибо.
Прога хорошая отличная но пошла уже 4я бутылка коньяка

 

Здравствуйте.

Пока человек не начнет должным образом анализировать данные, он может выпить и 10 бутылок, и не только коньяка.

Программа делает запрос по указанным URL и применяет к ссылкам заданные фильтры.

Ошибка может быть в:
URL
Заголовках запроса
Заданных фильтрах ссылок

На каком этапе у вас ошибка - мне не ясно.

 

нет если копирую в браузер сгенерированные ссылки то все ок если открываю в браузере программы все хана

 

Я проверил сбор ссылок с этого сайта. Все нормально.

С какой конкретно ссылкой у вас проблемы?

 

со всеми кроме первой

 

Я со скриншота переписывать ссылки не горю желанием.

Если для вас сложно выбрать ссылку, скопировать ее и вставить в сообщение на форуме, о чем может тут тогда идти разговор.

 

Ссылки то не причем, после генерации и выставлении фильтров (содержания ссылки, глубина ссылки и т.п) и нажатии парсинга (категория многостраничная) выдает тот лог который был указан на скриншоте.

 

Действительно, не причем.

Как и решение данного банального вопроса, превратившегося в бе(з)смысленное перепирание.