Парсинг динамических ссылок

Тема в разделе "Решение различных задач по парсингу", создана пользователем dima911, 4 мар 2019.

  1. dima911

    dima911 New Member Пользователи

    Регистрация:
    5 апр 2018
    Сообщения:
    89
    Город:
    Волгоград
    Существует урл по которому отдается ответ в json одно из полей в ответе имеет числовой код к примеру "cursor" : "3234234234".
    Задача, при каждом новом ответе получать значение этого поля и генериовать новую ссылку вида site.ru/search?cursor= "тут полученное значение"

    Переходим по полученной ссылке и опять ищем значение курсор.
    Как лучше реализовать?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    На данный момент никак. Подумаю нужно ли это реализовать или нет.
     
  3. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    [Ссылки недоступны для гостей] не подходит?
    Код:
    [ADDURL]site.ru/search?cursor=<CD_GRAN1!>[/ADDURL]
     
    Root нравится это.
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Четко!
     
  5. dima911

    dima911 New Member Пользователи

    Регистрация:
    5 апр 2018
    Сообщения:
    89
    Город:
    Волгоград
    А как будет выглядеть условие!
    вот линк Ссылки недоступны для гостей
    Запросили линк
    1. Получили ответ в json
    2. Декодировали в массив
    3. Сохранили контент из массива в csv
    4. Получили из массива $id = $array->next_cursor;
    5. Сформировали ссылку где к Ссылки недоступны для гостей" добавили ID "&dcmx=03%2F04%2F2019+09:15:05&exch=63&lang=ru&rcid=125&sdmn=03%2F05%2F2019&sdmx=04%2F15%2F20
    6. Добавили в очередь ссылку
    7. Перешли по новой ссылке
    Можно пример?
     

Поделиться этой страницей