Как не парсить дубли или парсить но не сохранять

Тема в разделе "Решение различных задач по парсингу", создана пользователем sinoda, 23 дек 2022.

  1. sinoda

    sinoda Member Пользователи

    Регистрация:
    10 фев 2012
    Сообщения:
    60
    Город:
    Москва
    Всем здравствуйте!
    Прошу помощи, подскажите как сформулировать шаблон вывода.

    [DOCNAME]А.txt[/DOCNAME][WBAPP(WBapp с 5 указанными границами в GETHTML.wbapp[GETRESULT])][CDDATA:1]<FILE=C:\А.txt[/CDDATA][/WBAPP]

    На диске C:\ из файла А.txt с помощью [CDDATA:1] в WBapp в поле поиска ввожу первую строку из файла А.txt (она там пока одна) и через пять [GETHTML]: с заданными границами из результата забираю нужные пять границ-строки. В шаблоне вывода сохраняю [GETRESUL] в тот же файл А.txt с до записыванием (и теперь в А.txt шесть строк). При следующем обращении из файла А.txt берется вторая строка в [CDDATA:1] и получаем как бы бесконечный цикл наполнения А.txt. Как избежать записи в файл А.txt дублирующих строк из [GETRESUL], которые уже записаны в А.txt ? Т.е. как удалить из [GETRESUL] строки которые есть а А.txt?

    Ознакомился с Ссылки недоступны для гостей но никак не соображу как его применить в шаблоне.
    Логично не записывать в файл А.txt дубли которые в [GETRESUL]
    Что обернуть в [DUPIGNORE] и как указать файл с А.txt как файл с ключами для отсева до записывания строк в него же?
    Есть ли возможность использовать [DUPIGNORE] внутри WBapp для каждого или всех сразу [GETHTML]: ?
     
    Последнее редактирование: 23 дек 2022
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    При данных условиях, скорее всего, придется удалять дубли уже после парсинга.
     

Поделиться этой страницей