Подскажите как спарсить описание программ с soft.oszone.net

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Aliconto, 26 май 2013.

  1. Aliconto

    Aliconto New Member Пользователи

    Регистрация:
    26 май 2013
    Сообщения:
    19
    Здравствуйте, подскажите пожалуйста как можно с помощью CD спарсить полное описание программ например с этой ссылки Ссылки недоступны для гостей
    не могу разобраться, как это сделать, т.е. по ссылке выше представлено краткое описание, а когда переходишь по ссылке Подробнее.. , представлено полное описание к программе, вот именно оно и нужно, не могу понять как это можно реализовать в CD, т.е. просто хочется спарсить только описание ??
     
  2. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    не совсем понятна задача. зачем изобретать изощренные схемы и пытаться спарсить подробные описания программ с указанной вами страницы, когда можно перейти дальше по этим ссылкам (которые в блоке "Подробнее...") и спокойно взять на этих страницах то, что вам требуется. вы же сами говорите - нужно только описание.

    перейдите дальше, на персональные страницы самих программ.
     
  3. Aliconto

    Aliconto New Member Пользователи

    Регистрация:
    26 май 2013
    Сообщения:
    19
    да и действительно, только сейчас понял, что я велосипед какой то изобретаю))
    не поймите меня не правильно просто я только совсем недавно купил CD, вот только учусь..разбираюсь)

    да действительно, вы абсолютно правы, мне нужно парсить описание со страницы программы, только у меня появился такой вопрос, на который ни как не могу найти ответ, а именно как мне ссылки спарсить для дальнейшего парсинга?

    вот ссылка на программу RegDoctor _http://soft.oszone.net/program/739/RegDoctor/

    не пойму теперь просто, как получить ссылки, из нужной мне категории программ (Категория - Система - Настройка и оптимизация).

    на сайте все ссылки находятся в хаотичном порядке и в разных категориях, вот, что я имею ввиду: soft.oszone.net/program/739 - RegDoctor, номер 739, Категория Система - Реестр, а по ссылке soft.oszone.net/program/738 уже находится программа Popup Free 1.56, с номером 738, находящееся в совершенно в другом каталоге - Интернет и сети, который никакого отношения к каталогу Система не имеет.

    Подскажите пожалуйста, как правильно в такой ситуации, спарсить ссылки для парсинга описания программ, для категории Система - Настройка и оптимизация _soft.oszone.net/subcat/43/ ?
     
    Последнее редактирование: 26 май 2013
  4. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    как-то так

    1. делаем перечень ссылок (страницы системных программ) по диапазону
    2. т.к. на страничках много "левых" ссылок, ограничиваем вытягиваемые ссылки - а). фильтром ссылок б). частью кода, где эти ссылки находятся
    3. задаем границы заголовка и описания.

    прилагаю почти готовый проект, остаются мелочи - не знаю что именно вам нужно - 1 csv или сотни htm и т.д.
    в общем, сами доведете его до ума.

    P.S. я сделал все программы из раздела "Система". если нужно подкаталог - та же последовательность действий, только стартовать надо отсюда - http://soft.oszone.net/subcat/43/?page={num} и стартовых страниц будет меньше (задать диапазон от 1 до 18).

    P.P.S. если вы не поняли написанного выше, то вам сюда -
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
     

    Вложения:

    Последнее редактирование: 26 май 2013
  5. Aliconto

    Aliconto New Member Пользователи

    Регистрация:
    26 май 2013
    Сообщения:
    19
    Спасибо Вам ОГРОМНЕЙШЕЕ!! Сейчас буду разбираться что к чему.
     

Поделиться этой страницей