Сбор релативных УРЛ (без домена)

Сканер сайтов собирает только абсолютные УРЛ.

Абсолютные УРЛ, типа Ссылки недоступны для гостей, находящиеся в <a href=""> - нет проблем.

На этой же странице релативные УРЛ, типа <a href="/e/B102461289/hotel/berlin/hommage--magritte-boutique-hotel-b-b-bewertungen.html"> - не собираются.

Пробовал задавать шаблон типа re:^\/e\/.*.html$ - не помогло. Ссылки присутствуют в коде - не яваскрипт.

a href="{get}" во вкладке "Ссылки" не помог также. Что за напасть такая?

 

Там дело в каптче, которая не выдает код страницы при парсинге.

Как ее обойти, я не знаю.

 

Ссылки, в не зависимости, абсолютные ли они или относительные, если они есть в получаемом коде, должны парситься программой.

 

Насчёт капчи - прошу прощения, там действительно только по немецкому айпи пускает, вот немецкий вэб-прокси, с ним нет проблем: Ссылки недоступны для гостей

Насчёт должны парситься: я вот тоже так думал, ведь они в обычном href находятся. А вот не парсятся. Да, в хтмл-коде они есть - но в очередь на парсинг контента не попадают. А абсолютные УРЛ - попадают.

 

Находит без проблем.



Сбросьте фильтры ссылок и попробуйте выполнить предпросмотр, так как показано на скриншоте.

Также убедитесь, что используете актуальную версию программы.

 

Проект

 

Большое спасибо! Справился.