Можно ли спарсить названия и url разделов каталога?

Тема в разделе "Разное", создана пользователем Nicolo, 24 апр 2013.

  1. Nicolo

    Nicolo New Member Пользователи

    Регистрация:
    24 апр 2013
    Сообщения:
    5
    Здравствуйте!

    Подскажите пожалуйста возможно ли спарсить:

    1. url страниц разделов и подразделов на сайте tiu ? (стоит заметить, что все разделы с подразделами имеют url не 3 или 5 вложенности в папке, а всегда первой или второй вложенности)

    2. названия этих страниц и иллюстрацию к ним?

    (весь контент не интересует только названия, url (примеру: /telefon), изображения данных разделов)

    Спасибо.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Перейдите во вкладку "ссылки"
    1. Поставьте здесь в шаблон ссылки примерно такой (домен вместо черточек естествено)
    PHP:
    http://---.ru/Elektroinstrument;{num}[PARAM]:Электроинструменты
    2. Проставьте диапазон ссылок и соберите по ним ссылки товарные, они будут вида
    PHP:
    http://---.ru/p713412-drel-udarnaya-interskol.html[PARAM]:Электроинструмент
    3. В шаблоне вывода там где выводиться должно название категории поставьте тег
    PHP:
    [PARAM]
     
  3. Nicolo

    Nicolo New Member Пользователи

    Регистрация:
    24 апр 2013
    Сообщения:
    5
    Здравствуйте.

    Спасибо, но не совсем понял.

    Позвольте на конкретном примере (по мере вложенности - дерево):

    ..Ссылки недоступны для гостей

    ...Ссылки недоступны для гостей

    ....Ссылки недоступны для гостей

    .....Ссылки недоступны для гостей


    Обратите внимание на url и это не смотря на то, что там многоуровневость.
     
  4. СТЕПАН

    СТЕПАН New Member Супер Модератор

    Регистрация:
    10 мар 2013
    Сообщения:
    51
    Адрес:
    Казахстан
    данный тег давно использую {num} очень удобен при сборе массовом однотипных ссылок, а вот про этот тег не слыхал еще [PARAM] можно ли узнать по подробнее в каких случаях его можно применить?
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Просматривая любой товар на странице, то вверху видно меню с категориями, указывающие в какой категории находиться товар

    PHP:
    <div class="b-breadcrumb b-breadcrumb_state_preload b-breadcrumb_type_B" id="b-breadcrumb"><div class="page-path b-breadcrumb__bar" xmlns:v="http://rdf.data-vocabulary.org/#"><div typeof="v:Breadcrumb" class="b-breadcrumb__item b-breadcrumb__item_state_visible bs-static bs-item"><a href="http://tiu.ru/" class="b-breadcrumb__link b-breadcrumb__link_type_home" rel='v:url' property="v:title"><span class="icon-mini_home b-breadcrumb__link-home-icon" ></span>Tiu.ru</a></div><div typeof="v:Breadcrumb" class="b-breadcrumb__item b-breadcrumb__item_state_visible bs-item"><a href="http://spb.tiu.ru/" class="b-breadcrumb__link" rel='v:url' property="v:title">Санкт-Петербург</a></div><div typeof="v:Breadcrumb" class="b-breadcrumb__item b-breadcrumb__item_state_visible bs-item"><a href="/b2b" class="b-breadcrumb__link" rel='v:url' property="v:title">Промышленные и оптовые товары</a></div><div typeof="v:Breadcrumb" class="b-breadcrumb__item b-breadcrumb__item_state_visible bs-item"><a href="http://spb.tiu.ru/c341866-skladmotorovru.html" class="b-breadcrumb__link" rel='v:url' property="v:title">SkladMotorov.ru</a></div><div typeof="v:Breadcrumb" class="b-breadcrumb__item b-breadcrumb__item_state_visible bs-item"><a href="/Avto-moto-velotehnika" class="b-breadcrumb__link" rel='v:url' property="v:title">Авто-, мото-, велотехника</a><ul class="b-breadcrumb__sublist"><li class="b-breadcrumb__sublist-item"><a href="/Avtoaksessuary" class="b-breadcrumb__sublist-link">Автоаксессуары</a></li><li class="b-breadcrumb__sublist-delim"></li><li class="b-breadcrumb__sublist-item"><a href="/Elektrooborudovanie-avtomobilej" class="b-breadcrumb__sublist-link">Электрооборудование автомобилей</a></li><li class="b-breadcrumb__sublist-delim"></li><li class="b-breadcrumb__sublist-item"><a href="/Avtomobilnaya-elektronika" class="b-breadcrumb__sublist-link">Автомобильная электроника</a></li><li class="b-breadcrumb__sublist-delim"></li><li class="b-breadcrumb__sublist-item"><a href="/Oborudovanie-dlya-avtoservisa" class="b-breadcrumb__sublist-link">Оборудование для автосервиса</a></li><li class="b-breadcrumb__sublist-delim"></li><li class="b-breadcrumb__sublist-item"><a href="/Drugaya-avto-moto-velotehnika" class="b-breadcrumb__sublist-link">Авто-, мото-, велотехникаобщее</a></li></ul></div><div typeof="v:Breadcrumb" class="b-breadcrumb__item b-breadcrumb__item_state_visible bs-item"><a href="/Avtozapchasti-i-komplektuyuschie" class="b-breadcrumb__link" rel='v:url' property="v:title">Автозапчасти и комплектующие</a><ul class="b-breadcrumb__sublist"><li class="b-breadcrumb__sublist-item"><a href="/Komplektuyuschie-dlya-legkovyh-avtomobilej-i-mikroavtobusov" class="b-breadcrumb__sublist-link">Комплектующие для легковых автомобилей и микроавтобусов</a></li><li class="b-breadcrumb__sublist-delim"></li><li class="b-breadcrumb__sublist-item"><a href="/Kuzovnye-zapchasti-1" class="b-breadcrumb__sublist-link">Кузовные запчасти</a></li><li class="b-breadcrumb__sublist-delim"></li><li class="b-breadcrumb__sublist-item"><a href="/Detali-dvigatelya" class="b-breadcrumb__sublist-link">Детали двигателя</a></li><li class="b-breadcrumb__sublist-delim"></li><li class="b-breadcrumb__sublist-item"><a href="/Drugie-avtozapchasti-i-komplektuyuschie" class="b-breadcrumb__sublist-link">Автозапчасти и комплектующиеобщее</a></li><li class="b-breadcrumb__sublist-delim"></li><li class="b-breadcrumb__sublist-item"><a href="/Zapasnye-chasti-k-avtotraktornoj-selskohozyajstvennoj-spetstehnike" class="b-breadcrumb__sublist-link">Запасные части к автотракторнойсельскохозяйственной спецтехнике</a></li></ul></div><div typeof="v:Breadcrumb" class="b-breadcrumb__item b-breadcrumb__item_state_visible bs-item"><a href="/Avtomobilnye-diski-i-shiny" class="b-breadcrumb__link" rel='v:url' property="v:title">Автомобильные диски и шины</a><ul class="b-breadcrumb__sublist"><li class="b-breadcrumb__sublist-item"><a href="/Drugie-avtomobilnye-diski-i-shiny" class="b-breadcrumb__sublist-link">Автомобильные диски и шиныобщее</a></li><li class="b-breadcrumb__sublist-delim"></li><li class="b-breadcrumb__sublist-item"><a href="/Letnie-pokryshki-i-shiny" class="b-breadcrumb__sublist-link">Летние шины</a></li><li class="b-breadcrumb__sublist-delim"></li><li class="b-breadcrumb__sublist-item"><a href="/Kamery-dlya-shin" class="b-breadcrumb__sublist-link">Камеры для шин</a></li><li class="b-breadcrumb__sublist-delim"></li><li class="b-breadcrumb__sublist-item"><a href="/Shiny-gruzovye" class="b-breadcrumb__sublist-link">Шины грузовые</a></li><li class="b-breadcrumb__sublist-delim"></li><li class="b-breadcrumb__sublist-item"><a href="/Zimnie-pokryshki-i-shiny" class="b-breadcrumb__sublist-link">Зимние покрышки и шины</a></li></ul></div><div typeof="v:Breadcrumb" class="b-breadcrumb__item b-breadcrumb__item_state_visible bs-item"><a href="/Litye-avtomobilnye-diski" class="b-breadcrumb__link" rel='v:url' property="v:title">Литые автомобильные диски</a></div><span typeof="v:Breadcrumb" class="b-breadcrumb__current bs-item">Диск колесный в сборе 6J x 16 стальной для LDV Maxus 544100021 544100024</span></div></div>
        </
    div>
    Здесь удобно отметить категории
    Начало границы:
    Конец границы
    Там есть и субменю, с тегом
    не трогайте их:)
     
  6. Nicolo

    Nicolo New Member Пользователи

    Регистрация:
    24 апр 2013
    Сообщения:
    5
    Здравствуйте!

    Эххх, теперь нужно спарсить по сути html страницы и при сохранении в ПК имели бы url раздела, примеру так telefony.html.

    Попробовал через другой парсер, так он и css и js копирует, вродебы и не плохо но там не настраивается какой конкретно раздел парсить и их подразделы без так сказать карточек товара.

    Одним словом спарсить нужно, только разделы и их подразделы в html с картинками (можно без css и js) - но без карточек товаров.

    Почему в html? Интересует вложенность и навигация, плюс мета-тэги, и содержимое фильтров.

    После этого вытекает другой вопрос, возможно ли после копирования нужного в ПК (конечно мы почистим лишние разделы изменим данные на свои и т.п.), после залить в mysql. Может даже для парсера на html страницах ставить разметки? Чтобы программа понимала что с html в последствии вытаскивать, и после чтобы мы могли залить в базу.

    Спасибо, Вам.
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    CD это все делает на ура, незачем скакать по другим пробам програм в поисках готового решения)
    Если речь о импорте в базу то естественно надо чистые данные отправлять без лишнего мусора.
     
  8. Nicolo

    Nicolo New Member Пользователи

    Регистрация:
    24 апр 2013
    Сообщения:
    5
    Вы мне можете спарсить в html или в txt интересующие разделы и подразделы? Могу отправить файл в html где отмечу что в особенности интересует, понятно что не интересуют сами товары и их карточки, тем более не интересные информационные страницы типа "о компании", только разделы и подразделы.

    Это мне нужно для seo оптимизатора, чтобы он почистил убрал лишние разделы, при необходимости скоректировал названия и добавил содержания, после этого для чистого импорта в базу.

    (P.S. Стоимость если не трудно напишите в личку или ваши вопросы обязательно подробней напишу. Интересует копирования целой ветки.)

    Спасибо.
     
  9. Nicolo

    Nicolo New Member Пользователи

    Регистрация:
    24 апр 2013
    Сообщения:
    5
    Походу задача трудновыполнимая.

    Уважаемые кто готов за деньги спарсить раздел сайта?
     

Поделиться этой страницей