Парсинг Location в ответе сервера

Вопрос, мне нужно спарсить поле Location:, когда сервер отдает 301 или 302?
Есть идеи как можно это сделать?

 

Здравствуйте.

Приведите пример такой WEB-страницы.

 

Ссылки недоступны для гостей

В ответе редирект 301 на
Location: /cardiff/a-t-s-cardiff-truck-ltd-354622

вот этот Location мне и нужен.

Да, я знаю что можно через DOM распарсить сайт, но это 400.000 страниц и 2 потока = недели. Я думаю слить контент локально на винт, и потом с локального вебсервера распарсить, но для этого мне нужны валидные адреса без редиректа. И сразу же отсеять страницы с 404

 

Здравствуйте.

Библиотеки, для отправки запросов в программе не возвращают желаемый Location. Соответственно, вижу только 1 вариант решения этой задачи - парсить с использованием WBApp.

Руководствуясь этой Ссылки недоступны для гостей методикой можно сделать загрузку страниц в WBApp очень быстрой!



Проект WBApp к сообщению прикрепил (протестировал не особо тщательно, но должен работать, как надо!).

С уважением к вам, Сергей.

 

Большое Вам спасибо, на днях скину доплату за переход со Standart до Ultimate, а то WbApp не пойдет у меня

 

Пожалуйста.

 

что то не работает у меня , может не правильно что делаю . Нужно собрать ссылки с 301 редиректом как правильно реализовать не подскажите ? [RESPONSECODE] отдает 200 при 301 , [IF1][GETRESPONSE(HTTP_QUERY_STATUS_CODE)]<CD_DOCURL!>[/GETRESPONSE]==301[THEN]<CD_DOCURL!>[/IF1] ответ 200 вместо 301 итд ?

 

У меня стоит галка

 

так ее наоборот нужно снять
получается в заголовке Location указано - 3x1 код
и если, стоит обрабатывать редирект - в итоге получите код 200

 

[IF1][RESPONSECODE]==""<CD_DOCURL!>[/IF1] все работает , ответы получаю нормально как нужно [RESPONSECODE] ,но при использовании проксей получаю вот на всех сайтах
HTTP/1.0 407 Proxy Authentication Required
возможно получать ответы 200, 300 и тп при использовании проксей ?

 

так прокся требует авторизации

передайте в строке прокси данные для авторизации - будете получать 2хх-3хх ответы при редиректах

 

В окне Ctrl+h включена библиотека Clever Internet Suite или WIN?

 

включена библиотека WIN

 

Включите библиотеку, которая используется по умолчанию - Clever Internet Suite (CIS).

 

Как при CIS получить RESPONCSECODE ?

 

С помощью макроса шаблона вывода [RESPONSECODE]