Удаление дублей (строк) товаров

Тема в разделе "Обработка данных при парсинге во вкладке "Контент"", создана пользователем kofe, 4 июн 2019.

  1. kofe

    kofe Member Пользователи

    Регистрация:
    22 май 2019
    Сообщения:
    54
    Данные php скриптом отправляю в таблицу MYSQL. Некоторые сайты отдают дубли товаров если страницы не существует, например:

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! (последняя страница)
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! (не существующая страница дублирует товары последней страницы)

    Можно ли удалить дубли таких товаров программой CD перед их отправкой на сервер?
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.903
    Город:
    Riga
    DELDUP макрос
     
    Последнее редактирование модератором: 5 июн 2019
  3. kofe

    kofe Member Пользователи

    Регистрация:
    22 май 2019
    Сообщения:
    54
    Благодарю!

    Описание макроса в мануале не нашел: Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Попробовал так:

    <PHP_SCRIPT=https:ххх.php>
    all_data=[DATAENCODE][DELDUP(),()]<CD_CYCLE_GRAN_1!>[/DELDUP][/DATAENCODE]
    </PHP_SCRIPT>

    К сожалению не помогло, все дубликаты товаров в базе. Прошу подсказать если допустил ошибку. "),(" - в моем случае разделитель для INSERT.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.562
    Если я правильно понял, в вашем случае, каждый цикл повторяющихся границ парсинга нужно фильтровать макросом [DUPIGNORE]:
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Макрос [DELDUP] не подходит, так как он работает в пределах каждого WEB-документа, которые парсите. А вам нужна "глобальная" проверка на дубли.
     
    kofe нравится это.
  5. kofe

    kofe Member Пользователи

    Регистрация:
    22 май 2019
    Сообщения:
    54
    DUPIGNORE - то, что нужно, благодарю!
     
    Root нравится это.

Поделиться этой страницей