Фильтрация WEB-документов содержащих ключевые слова при парсинге контента

Добрый день.
есть задача спарсить сайт с вакансиями. на сайте есть как вакансии от прямых работодателей так и от агентств. Понятно, что вакансии от агентств не интересны. от кого вакансия написано в специальном поле и хорошо собирается при парсинге.

Есть ли возможность чтобы а процессе обхода, программа пропускала страницу и не добавляла данные в финальную таблицу если у одной из границ данных значение равно какому-то параметру, например "кадровое агентство"

p.s. понятно что это можно сделать потом в excel но хочется получить сразу файл готовый для импорта

 

Добрый ночь

Можно так

[CHECKENTRY(кадровое агентство)]<CD_GRAN_1!>[THENTEXT][FILTERDOCUMENT][/CHECKENTRY]

Логика понятна ?

 

проверяет в вхождение слов в скобках в нужном макросе... [THENTEXT][FILTERDOCUMENT] вот эти функции надо посмотреть в мануале..... Спасибо!

 

если честно чуть не понятно ((
я понял что при совпадении CHECKENTRY выдаст текст FILTERDOCUMENT...
а вот по FILTERDOCUMENT почему то нет информации.

и еще извините, за глупый вопрос. Этот код надо вставить в шаблон вывода макроса? в начало?

 

Здравствуйте
используйте фильтрацию ctrl+shift+f

 

Лучше это вставить в поле с названием резюме:
Допустим название резюме берется в границе 2 то есть <CD_GRAN_2!>
Вы выводите <CD_GRAN_2!> в первое поле шаблона вывода.
А в границу один, назначаете , брать кусок кода в котором на страницах указано от кого вакансия, Вы говорите это написано в специальном поле то есть это будет <CD_GRAN_1!>
И получается в первом поле, шаблона вывода будет такой код:
<CD_GRAN_2!>[CHECKENTRY(кадровое агентство)]<CD_GRAN_1!>[THENTEXT][FILTERDOCUMENT][/CHECKENTRY]

[FILTERDOCUMENT] - указывает, что если в шаблоне вывода после обработки останется этот макрос, то этот документ, будет отфильтрован, и в финальную таблицу результата парсинга записан не будет.


Аналог такого же действия это указать в меню ctrl+shift+f , что если в границе <CD_GRAN_1!>, есть ключевое слово "кадровое агентство" то такой документ отфильтровывать.

 

Спасибо большое за помощь!
буду пробовать)

 

Все работает! большое спасибо!

 

Нигде не нашёл описание (или видео), как пользоваться фильтрацией ctrl+shift+f (фильтрация документов по списку ключевиков).
М.б. кто подскажет ?

 

Что именно непонятно? Там должно быть все понятно исходя из прочтения названий элементов интерфейса.

Зачем делать инструкцию, где она не нужна.

 

Для простой фильтрации понятно.
Для более сложной непонятно.
Как использовать и/или ?
Как относятся 3 строки "Где применять фильтрацию" ?
Можно ли использовать какие либо операции в в поле ключевиков (если Да, то как) ?
Как относятся Фильтр 1 и Фильтр 2 ?
...

Лучше объясню, что мне надо:
у меня парсятся 2 поля: "Раздел" и "Бренд"
Надо спарсить только
- из "Раздел 1" взять только товары с определенными Брендами (несколько определённых мной Брендов)
или
- из "Раздел 2" взять все товары (с любым Брендом)
(по отдельности, за два прохода могу, за один проход не получается сделать)

 

p/s/ сдаётся мне, что тут надо какое-то регулярное выражение.
Но как его составить - мне не понятно.
Хотя бы какой нибудь пример ?

 

Для вашей задачи нужно использовать макрос математических/логических операций [MATH] (вернет число, если операции арифметические, или {TRUE} или {FALSE}, если операции в нем логические).

Результат работы макроса [MATH] сравнивается c {TRUE} или {FALSE} в макросе [IF1].

Код:

[IF1][MATH](раздел2=<CD_GRAN_1!>) or ((раздел1=<CD_GRAN_1!>) and ((бренд1=<CD_GRAN_2!>) or (бренд2=<CD_GRAN_2!>)))[/MATH][TEXTEQUAL]{TRUE}[THEN]СЮДА ПОМЕСТИТЕ КОД ШАБЛОНА ВЫВОДА[ELSE][FILTERDOCUMENT][/IF1]

Где:
<CD_GRAN_1!> - граница парсинга с разделом
<CD_GRAN_2!> - граница парсинга с брендом

Если результат работы макроса [MATH] будет равен {FALSE}, то макрос [IF1] выведет [FILTERDOCUMENT], который отфильтрует документ.

Для пополнения списка брендов просто добавьте нужное количество or (брендn=<CD_GRAN_2!>)

Код:

[IF1][MATH](раздел2=<CD_GRAN_1!>) or ((раздел1=<CD_GRAN_1!>) and ((бренд1=<CD_GRAN_2!>) or (бренд2=<CD_GRAN_2!>) or (бренд3=<CD_GRAN_2!>)))[/MATH][TEXTEQUAL]{TRUE}[THEN]СЮДА ПОМЕСТИТЕ КОД ШАБЛОНА ВЫВОДА[ELSE][FILTERDOCUMENT][/IF1]

 

Для удобства добавления брендов, чтобы не запутаться в скобках, можно надобавлять символов переносов строк таким образом:

Код:

[IF1][MATH](раздел2=<CD_GRAN_1!>) or ((раздел1=<CD_GRAN_1!>) and (

(бренд1=<CD_GRAN_2!>)
or (бренд2=<CD_GRAN_2!>)
or (бренд3=<CD_GRAN_2!>)
or (бренд4=<CD_GRAN_2!>)
or (бренд5=<CD_GRAN_2!>)
or (бренд6=<CD_GRAN_2!>)
or (бренд7=<CD_GRAN_2!>)

))[/MATH][TEXTEQUAL]{TRUE}[THEN]СЮДА ПОМЕСТИТЕ КОД ШАБЛОНА ВЫВОДА[ELSE][FILTERDOCUMENT][/IF1]

 

Понял принцип - фильтрацией ctrl+shift+f (фильтрация документов по списку ключевиков) не пользуемся.
А фильтруем в шаблоне вывода.
Спасибо !!!

 

Пожалуйста.

 

а можно ли применить такой вид фильтрации к повторяющейся границе парсинга.
то есть
XML файл с объявлениями.
если значение определенного поля в товаре есть то такой товар фильтруется а остальные продолжают обрабатываться

[CHECKENTRY(битый)][GRAN15][THENTEXT][FILTERDOCUMENT][/CHECKENTRY][GRAN1][CSVCS]

если использую такую конструкцию то фильтруется весь xml

 

Можно. Но без [FILTERDOCUMENT]. Макрос [CHECKENTRY] позволяет выводить или не выводить текст в зависимости от условия.

 

спасибо за Ваш ответ.
дело в том что
мне при присутствии текста в одной из границ парсинга надо пропускать весь цикл динамческой границы парсинга.
надо чтобы какую то команду макрос [CHECKENTRY] выдал?

 

Изучите, как работает макрос [CHECKENTRY] (инструкция по нему есть) и используйте его в шаблоне повторяющихся границ. Тут проблем быть не должно.