как спарсить сайт без ссылок в явном виде

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

вот такой сайт
Все ссылки относительные - и на категории, и на товары
Да ещё и если много страниц с товаром, то не на все ссылки есть

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

- страницы 1-2-3-4-5, затем 13

как быть?

 

Я понял, почему у меня не получается. Сайт выдает мне страницу, что у меня устаревший браузер, и с неё некуда переходить. Но подмена юзер-агента ничего не даёт.

 

в общем, нажал на кнопу "использовать ИЕ", заработало.
Всем большое спасибо!

 

а как в данном случае из тысяч отфильтрованных ссылок взять только страницы с определенным брендом, например только ручки Beifa, указания-то на бренд в url-е нет?

есть ли фильтр по коду html при парсинге, в котором, понятное дело, имя бренда есть?..
не парсить же все тысячи товаров, а потом ненужные удалять из csv...

делаю так:

• отфильтровал все ссылки по /Go/ViewProduct/id=
• с глубиной от 4 до 4
• нашел методом тыка в браузере две крайние ссылки, т.е. с которой каталог начинается и которой каталог заканчивается
• сгенерировал список страниц с гипотетически всеми товарами на сайте
• получил 17 000 ссылок
• часть из них мертвые - не ведут ни к какому товару
• сейчас пройдусь по ним сканером не пополняя очереди, но, боюсь, что сканер не все ссылки соберет, уже такое было. м.б. слишком быстро запросы на сайт отправлял? попробую поставить 1000 мс и 10 потоков.
• странно, что при сканировании ссылок списком на выходе найденные ссылки идут не по порядку и при проверке некоторые из найденных ссылок в браузере не открываются... в чем проблема?

как теперь из этого списка выудить только страницы с нужным мне брендом?

 

Здравствуйте.

Во вкладке "контент" есть функции фильтрации документов по списку ключевиков -> shift+ctrl+f (добавить туда бренд).

С уважением к вам, Сергей.

 

Здравствуйте!
Круто, спасибо!!!
А в интерфейсе где эта заветная кнопка?)) Что-то не смог найти. Безусловно, по сочетанию клавишь работает, но все-таки...

Сам нашел, не увидел в правом дереве...

 

DAO, пожалуйста.

Антон, ты бы хоть прочел, какую функцию показать надо! =)