Регулярный парсинг изменяющихся данных

Тема в разделе "Решение различных задач по парсингу", создана пользователем d0ublezer0, 15 май 2018.

  1. d0ublezer0

    d0ublezer0 Member Пользователи

    Регистрация:
    30 ноя 2016
    Сообщения:
    47
    Привет.
    Нужен совет, т.к. я уже запутался и уже почти отчаялся

    Первый парсинг генерирует уникальные SKU по названию товара,
    Код:
    [SKU_UNIQUE:6D]<CD_GRAN_1!>[/SKU_UNIQUE]
    пишем всё это в один общий текстовый файл-базу артикулов,
    Загружаем товары в магазин и все довольны.

    Дальше происходит обновление цен, мы парсим заново, т.к. уже знаем ссылки собранных товаров.
    Парсим только цены и остатки по известным ссылкам.

    Но за это время название товара поменялось, и SKU_UNIQUE честно генерирует новые артикулы.

    Допустим было название
    Штатная камера заднего вида Great wall Hover H3 с 2014 года ,H5, H6,M4 CCD
    а стало
    Штатная камера заднего вида Great Wall Hover H3 с 2014 года, Hover H5, Hover H6, Hover M4 CCD

    + в довесок поменялась ссылка, при переходе по старой
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    происходит перенаправление на
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Но слава богу, CD умеет работать с редиректами и все равно получает содержимое страницы.

    Один и тот же товар.
    Вот как быть?
    На стабильность названий и ссылок надежды нет. А хочется получать свежие данные по ценам по существующим с ссылкам.
     
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.641
    Город:
    Сочи
    Здравствуйте.

    Без привязки к какому-то статичному ID товара никак. Может есть артикул, который не меняется или какой-то скрытый ID в коде?
     
  3. d0ublezer0

    d0ublezer0 Member Пользователи

    Регистрация:
    30 ноя 2016
    Сообщения:
    47
    Нашел, есть такое
    Код:
    productDetailId = '00000000110';
    но блин, теперь же все товары собранные надо как-то перевести на новые . и вся база SKU будет неверной
     
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.641
    Город:
    Сочи
    Других вариантов нет. Это нужно понимать.
     

Поделиться этой страницей