Как исключить 404?

Коллеги, прошу совет.

как сделать чтобы сканер сайта не собирал страницы с 404 ответом? на сайте их много, и чтобы потом не гонять парсер по этим страницам для получения такого сообщения:

"Программе не удалось загрузить WEB-страницу (HTTP/1.1 404 Not Found)"

может как то можно их изначально исключить

спасибо

 

Здравствуйте.

Пока программа не сделает к странице запрос она не узнает ответ (404 или нет).

Так что изначально их исключить невозможно.

С уважением к вам, Сергей.

 

согласен. спасибо. уже увидел что в результатах парсинга 404 страницы исключены