Как собрать ссылки из категории?

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем explcom, 2 июл 2014.

  1. explcom

    explcom New Member Пользователи

    Регистрация:
    2 июл 2014
    Сообщения:
    4
    Добрый... У сайта донора все УРЛы вида
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    ...
    Страницы категорий имеют тот же вид.
    Собственно в старых версиях вообще проблем не было со сбором УРЛ путем "через браузер", теперь почему то эта функция не работает.
    Подскажите алгоритм, как я могу спарсить ссылки на материалы из данной категории? Ведь при сканировании, сканер обходит все ссылки которые видит, мне же нужны ссылки только из данной категории, при том что как писал выше, для всех категори и материалов тип УРЛа один и тот же, засим фильтр не настроить.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    Пусть собирает ссылки и товаров и категорий. Потом при парсинге отфильтруете лишнее поставив у границы парсинга, значение которой есть только на странице товара, галочку "обязательна" в ctrl+2.
     
  3. explcom

    explcom New Member Пользователи

    Регистрация:
    2 июл 2014
    Сообщения:
    4
    Нет, либо вы меня не поняли, либо я вас.
    Мне не нужен контент с собранных УРЛов. Есть 5 категорий, мне с этих 5 категорий нужно собрать только линки. Но когда я захожу в "сканер сайтов" и ввожу стартовый УРЛ категории из который мне нужны линки, начинается парсинг всех ссылок и из этой категории и из другой. Мне же нужны ссылки только с этой старницы. Мне потом не разгрести, что и откуда.
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Сканер сайтов не для этого.
    Проанализируйте те категории которые вам нужны и вручную генерируйте нужные страницы (для сбора через вкладку Ссылки)
     
  5. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    просто бывает так что идентифицировать товар это или ссылка или какой категории принадлежит ссылка по урлу нельзя и тогда придется искать какуюто другую инфу на странице чтоб либо фильтровать такие страницы либо собрать все а потом в процессе парсинга фильтровать страницы не принадлежащие нужной вам категории, надеюсь не заумно :)
     
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Ну не все можно сразу автоматом получать, иногда нужно и руками поработать. )
     
  7. explcom

    explcom New Member Пользователи

    Регистрация:
    2 июл 2014
    Сообщения:
    4
    del
     
    Последнее редактирование: 2 июл 2014
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    это означает разобрались?
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вот информация Ссылки недоступны для гостей по парсингу ссылок со страниц рубрик =)
    Вопрос у вас совершенно неконкретный. Нам нужно знать конкретную задачу, чтобы дать вам ее решение (с каких страниц парсим ссылки, какие именно ссылки нужны).
     

Поделиться этой страницей