Парсинг страниц без .html и номера страници. Как это сделать?

Тема в разделе "Решение различных задач по парсингу", создана пользователем Mikhail777, 6 мар 2024.

  1. Mikhail777

    Mikhail777 New Member Пользователи

    Регистрация:
    6 мар 2024
    Сообщения:
    4
    Город:
    Севастополь
    Добрый день. Подскажите пожалуйста, как собрать ссылки со страницы сайта где в конце ссылки на страницу с товаром не стоит номер этой страницы, например: page-4 , и в карточке товара ссылка не заканчивется на .html ?
    Что вписывать в : "Шаблон генерации списка ссылок..." ? {num} - надо или нет?
    Помогите пожалуйста.
     
    Последнее редактирование: 8 мар 2024
  2. green

    green Active Member Пользователи

    Регистрация:
    25 окт 2017
    Сообщения:
    77
    без ссылки на сайт вам никто не поможет...
     
  3. Mikhail777

    Mikhail777 New Member Пользователи

    Регистрация:
    6 мар 2024
    Сообщения:
    4
    Город:
    Севастополь
    Вот оно: Ссылки недоступны для гостей Может у них там защита какая-то или порты не открыты?
     
    Последнее редактирование: 8 мар 2024
  4. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Соберите ссылки отдельным проектом и все дела. Так будет проще Вам
    В границу парсинга поиск если в пагинации после - class="active" есть ссылка
    В шаблоне ее через добавить к поиску
    [ADDURL][/ADDURL]
     
  5. Mikhail777

    Mikhail777 New Member Пользователи

    Регистрация:
    6 мар 2024
    Сообщения:
    4
    Город:
    Севастополь
    Попробую разобраться,спасибо. Кстати,а можно ссылки просто руками добавить? Долго конечно,но можно?
     
  6. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Да конечно: вставить через контекстное меню можно (клик правой кнопкой мыши , по окну для ссылок на парсинг)
     
  7. Mikhail777

    Mikhail777 New Member Пользователи

    Регистрация:
    6 мар 2024
    Сообщения:
    4
    Город:
    Севастополь
    Спасибо, попробую и так и так.
     
  8. LulzSec_ru

    LulzSec_ru New Member Пользователи

    Регистрация:
    15 май 2022
    Сообщения:
    59
    отсеивать ссылки по глубине.... Ссылка так или иначе содержит повторяющиеся значения...
    Код:
    https://aksmania.ru/bytovaya-tehnika/zvonki-dvernye/besprovodnoj-dvernoj-zvonok-na-batarejkah-8205
    /bytovaya-tehnika/ постоянное значение, глубина равна 4-м
     
  9. 98Library_98

    98Library_98 New Member Пользователи

    Регистрация:
    17 июн 2024
    Сообщения:
    5
    Город:
    Пермь
    спасибо за инфу, попробую
    ;)
     

Поделиться этой страницей