Регулярный парсинг изменяющихся данных

Тема в разделе "Решение различных задач по парсингу", создана пользователем d0ublezer0, 15 май 2018.

  1. d0ublezer0

    d0ublezer0 Member Пользователи

    Регистрация:
    30 ноя 2016
    Сообщения:
    57
    Привет.
    Нужен совет, т.к. я уже запутался и уже почти отчаялся

    Первый парсинг генерирует уникальные SKU по названию товара,
    Код:
    [SKU_UNIQUE:6D]<CD_GRAN_1!>[/SKU_UNIQUE]
    пишем всё это в один общий текстовый файл-базу артикулов,
    Загружаем товары в магазин и все довольны.

    Дальше происходит обновление цен, мы парсим заново, т.к. уже знаем ссылки собранных товаров.
    Парсим только цены и остатки по известным ссылкам.

    Но за это время название товара поменялось, и SKU_UNIQUE честно генерирует новые артикулы.

    Допустим было название
    Штатная камера заднего вида Great wall Hover H3 с 2014 года ,H5, H6,M4 CCD
    а стало
    Штатная камера заднего вида Great Wall Hover H3 с 2014 года, Hover H5, Hover H6, Hover M4 CCD

    + в довесок поменялась ссылка, при переходе по старой
    Ссылки недоступны для гостей
    происходит перенаправление на
    Ссылки недоступны для гостей

    Но слава богу, CD умеет работать с редиректами и все равно получает содержимое страницы.

    Один и тот же товар.
    Вот как быть?
    На стабильность названий и ссылок надежды нет. А хочется получать свежие данные по ценам по существующим с ссылкам.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Без привязки к какому-то статичному ID товара никак. Может есть артикул, который не меняется или какой-то скрытый ID в коде?
     
  3. d0ublezer0

    d0ublezer0 Member Пользователи

    Регистрация:
    30 ноя 2016
    Сообщения:
    57
    Нашел, есть такое
    Код:
    productDetailId = '00000000110';
    но блин, теперь же все товары собранные надо как-то перевести на новые . и вся база SKU будет неверной
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Других вариантов нет. Это нужно понимать.
     

Поделиться этой страницей