Не парсится Santehika online

Не загружается страница, тоесть заугружается страница в два этапа(как я понял). Загужается сначала скрипт, а после Get запросом скрипт отправляет запрос и ждет, то что он выдаст. В Системе Помощи не нашел.

Ссылки недоступны для гостей

 

Здравствуйте.

С парсингом этого сайта есть проблемы.

Его удается парсить только через WBAppCEF, только с определенным user agent и только на Windows 7.

Код:

Mozilla/5.0 (iPhone; U; CPU iPhone OS 3_0 like Mac OS X; en-us) AppleWebKit/528.18 (KHTML, like Gecko) Version/4.0

Проект приложил.

 

С использованием прокси wbapp не открывает страницу Ссылки недоступны для гостей
при отключеном прокси работает отлично
только c CEF
с IE работает с проксями

 

Ваш проект так же с проксями не работает.

 

Добавил в справку поддерживаемые типы прокси для WBAppCEF (ввиду особенностей Chromium).

Ссылки недоступны для гостей

 

Использую HTTP прокси, и в этом проекта они не работают.
Другие страницы загружаются, кроме сантехники

 

Скорее всего данный сайт через прокси не работает.

 

При использование IE работает при использовании хрома не работает,так что проблема не в сайте.

 

Значит проблема в Chromium.

Парсите без прокси.

Протестировал в 2 потока на 100 товарах. Проблем не выявил.

 

Подскажите как поступить в такой ситуации
Нужна фильтрация документа.
Задача
При отсутствии границы 5 отправлять документ на перепарсинг
Но
При получении в странице фразы "Такой страницы не существует" отфильтровывать документ.

Я указал границу 5 как обязательная
В списке фильтрации по ключевым словам указал "Такой страницы не существует"
НО
если граница 5 не найдена то документ отправляется на перепарсинг и событие по фильтрации по ключевым словам не наструпает.
Как быть?

 

Вместо опции "обязательна" используйте макрос

Код:

[CHECKENTRY([ANYTEXT])]<CD_GRAN_5!>[ELSETEXT][RELOADDOCUMENT][/CHECKENTRY]

Если перепарсинг требуется из-за того, что что-то не успело догрузиться, следует переделать скрипт ожидания готовности загрузки документа в WBAppCEF (привязаться для проверки к другому элементу WEB страницы).

 

Для фильтрации же используется FILTERDOCUMENT
почему нужен RELOADDOCUMENT ?

 

Потому, что вы попросили перепарсить документ, если граница 5 пустая.

 

Нет мне нужно в самом начале понимать что документ не существует, товар снят и стоит заглушка.
Но если товар существует, и не отрисовалась страница в полном объеме и мы не получили границу 5 то документ нужно перепарсить заново.
Т.е. важен порядок, в начале отфильтровать документ а потом проверить корректно ли код подгрузился или нет и если нет то перепарсить.

 

Я вас понял изначально предельно ясно и дал решение.

Вместо того, чтобы его попробовать, вы начинаете мне доказывать, что оно не подходит. Можете продолжать доказывать это дальше.

 

Вы меня не поняли.
Вы предлагаете сделать
[CHECKENTRY
([какого то текста ])]
в гарнице <CD_GRAN_5!>[ELSETEXT]
иначе выполнить перезагрузку документа [RELOADDOCUMENT][/CHECKENTRY]

Но мне это не нужно.
Граница 5 содержит характеристики товара, и они всегда разные. Если документ криво отрисовался на js то часть этого кода не подгружена. Страница не отрисовалась полностью.
Но есть страница которые содержат фразу "Такой страницы не существует", страницы с которых снят товар и там нечего парсить.
Нужно в самом начале проверить, если эта страница "Битая, т.е. не существует", то пропускаем этот документ.
Но если страница НОРМАЛЬНАЯ но полностью не отрисована то сделать ее перепарсинг.

 

Вы просто вставьте конструкцию, которую я вам предоставил (без всякого изменения!).

Я просто забью на вступание в полемику с вами и все дела.

 

В программе фильтрация документа через опции программы, работает после того как проверены наличие всех обязательных граница.
А нужно сделать до этого, в самом начале, что бы понять есть ли смысл в дальнейшем искать границы или нет.
Если страница не отрисована то на не нужно искать наличие границ.

 

Еще раз:
https://forum.sbfactory.ru/threads/ne-parsitsja-santehika-online.9393/#post-54362