Прошу помощи в проекте. Не все ссылки собрал с товаров сканер ссылок

Тема в разделе "Решение различных задач по парсингу", создана пользователем MaiklWizard, 2 фев 2020.

  1. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Доброе время суток.
    Донор: Ссылки недоступны для гостей
    Мой проект, приложил.

    Проблема в том, что когда собираю ссылки на товары, собираются не все. например вот эти - Ссылки недоступны для гостей - вообще не попали ко мне. Несколько раз пересмотрел все, а найти ошибку не получается.

    И когда я создаю данные в файл, я не знаю как задать границы последней категории, к которой принадлежит товар.
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В XML карте сайта есть указанная ссылка.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2020-02-02_07-26-16.png
     
    Последнее редактирование: 2 фев 2020
    MaiklWizard нравится это.
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Рубрика извлекается поиск-заменой.

    Ссылки недоступны для гостей

    Проект приложил.
     

    Вложения:

    MaiklWizard нравится это.
  4. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Прошу меня простить, а как нашли эту ссылку? (Карту сайта). Я перепробовал все возможные комбинации, и так и не нашел ее(
     
    Последнее редактирование: 2 фев 2020
  5. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    У каждого сайта есть robots.txt, в котором скорее всего присутствует ссылка на sitemap, т.е. Ссылки недоступны для гостейrobots.txt .
    В нем прописана карта сайта, в самом низу.

    НУ и еще, читайте систему помощи:

     
    MaiklWizard и Root нравится это.
  6. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Еще такой вопрос: А можно ли в границах указывать AND - т.е. ИЛИ??

    Т.е. начальная граница: <span class = "rewardin"> или <span class = "rewardoff">
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ваш вопрос не соответствует теме.

    Создайте тему с данным вопросом в соответствующем разделе.
     
    MaiklWizard и Reset нравится это.

Поделиться этой страницей