Поиск и замена по большому массиву данных

Тема в разделе "Решение различных задач по парсингу", создана пользователем JohnyLee, 9 авг 2021.

  1. JohnyLee

    JohnyLee Member Пользователи

    Регистрация:
    10 фев 2018
    Сообщения:
    45
    Город:
    Murmans
    Добрый день! Собираюсь парсить большое количество url (около 20к).
    Каждый url планирую выводить в результаты парсинга с помощью макроса <CD_DOCURL!>
    Так же у меня есть отдельный список, где каждому url соответствует определенное число.
    Как бы мне заменить url на соответствующее ему число?

    Самое простое ,что приходит на ум, это обернуть <CD_DOCURL!> в макрос REPLACE, где будет весь мой список вида:
    Код:
    url_1|число
    url_2|число
    ......
    url_20000|число
    Но это же программа будет каждый раз производить поиск по 20к строкам. Наверняка парсинг затянется. Может быть есть более продуманное решение? Например, как-то заранее передать в CD мой список "url-число". Или наоборот, после парсинга сделать "поиск-замену"?
     
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    874
    Сформируйте список url используя макрос Ссылки недоступны для гостей
    URL[PARAM]:число
     
    Root, Slavikprof и JohnyLee нравится это.
  3. JohnyLee

    JohnyLee Member Пользователи

    Регистрация:
    10 фев 2018
    Сообщения:
    45
    Город:
    Murmans
    Ого! Прямо то что нужно! Спасибо!
     
    Root нравится это.

Поделиться этой страницей