Список ссылок с проверкой на вхождение в исходном коде

Тема в разделе "Генерация списков ссылок", создана пользователем Polar, 7 апр 2020.

  1. Polar

    Polar New Member Пользователи

    Регистрация:
    6 апр 2020
    Сообщения:
    2
    На сайте ссылки на товары идут в таком виде
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Номер id может быть разный и они не идут по порядку, могу ли я использовать как-то {num} для генерации списка ссылок, задавая диапазон например 20000-600000 и проверять код страницы на вхождение определенных слов, к примеру если на странице будет 404, то не добавлять ссылку.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.353
    Город:
    Барнаул
    Здравствуйте.

    Можете.
     
  3. Polar

    Polar New Member Пользователи

    Регистрация:
    6 апр 2020
    Сообщения:
    2
    Можете описать как это сделать, как ссылку проверить?
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.054
    Город:
    Riga
    Предоставьте ссылку на источник (можно в теге форума HIDE с параметром 10000).
     
  5. AlexandrSorokin

    AlexandrSorokin Active Member Пользователи

    Регистрация:
    27 ноя 2018
    Сообщения:
    70
    Город:
    Пермь
    Вариант
    Находите страницу с 404, выделяете эту ошибку в границу парсинга.
    Далее генерируете список ссылок Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! допустим, до сотни тысяч.

    Вставляете в вывод границ парсинга
    Код:
    [IF1][CHARCOUNT]<CD_GRAN_1!>[/CHARCOUNT]<1[THEN]<CD_DOCURL!>[/IF1]
    <CD_GRAN_1!> - граница с ошибкой 404, если она не найдена, тогда <CD_DOCURL!> сохранит этот url
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.054
    Город:
    Riga
    После как сгенерировали диапазон ссылок, и перенесли в очередь сканера.
    В сканере ссылок настройте поиск ссылки от того участка кода где она точно есть, например в canonical
    PHP:
    rel="canonical" href="{get}"
    [​IMG]
     

Поделиться этой страницей