Парсинг ссылок

Тема в разделе "Решение различных задач по парсингу", создана пользователем NikitoS, 21 дек 2014.

  1. NikitoS

    NikitoS New Member Пользователи

    Регистрация:
    31 май 2012
    Сообщения:
    11
    Здравствуйте!

    Помогите разобраться. Есть база ссылок, из этой базы нужно спарсить все ссылки на страницы нужного мне сайта и записать их в текстовый документ. Если это уже обсуждалось, буду благодарен, если кинете ссылку на обсуждение.
     
    NikitoS, 21 дек 2014
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Что именно за база? Пожалуйста, поясните...
     
    Root, 21 дек 2014
    #2
  3. NikitoS

    NikitoS New Member Пользователи

    Регистрация:
    31 май 2012
    Сообщения:
    11
    Эту базу я спарсил с Гугла по запросу (key "site.ru" -inurl:"site.ru") т.е. это страницы различных сайтов, которые ссылаются на нужный мне сайт.
    Теперь с помощью CD мне нужно "вытащить" все упоминания на исходный сайт и записать их в текстовый документ. В итоге я хочу получить список страниц нужного мне сайта, на которые когда-либо оставляли ссылки.
    Извините, если немного сумбурно... Если нужны еще какие-нибудь детали, я уточню.
     
    Последнее редактирование: 21 дек 2014
    NikitoS, 21 дек 2014
    #3
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    База ссылок в каком виде? Пример можно?
     
    Root, 21 дек 2014
    #4
  5. NikitoS

    NikitoS New Member Пользователи

    Регистрация:
    31 май 2012
    Сообщения:
    11
    Да, пожалуйста:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1000 постов.**
     
    NikitoS, 21 дек 2014
    #5
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Специализированных функций по сбору ТАКИХ ссылок из ТЕКСТОВОГО файла нет, но можно обойтись следующим способом:

    1) Добавить ссылки в список ссылок (F8)
    2) Настроить нужным образом фильтры ссылок (ctrl+3)
    3) Применить фильтры ссылок к списку ссылок (правый клик по списку ссылок -> "применить фильтры к списку ссылок")
    4) Скопировать все оставшиеся ссылки в буфер (правый клик по списку ссылок -> "скопировать все")

    С уважением к вам, Сергей...
     
    Root, 21 дек 2014
    #6
  7. NikitoS

    NikitoS New Member Пользователи

    Регистрация:
    31 май 2012
    Сообщения:
    11
    Сергей, спасибо, что пытаетесь мне помочь!
    Но Вы меня, возможно, не поняли (или я что-то недопонимаю). Я не хочу собрать ссылки из списка. Задача немного другая:

    Есть список ссылок (пример я привел выше). Нужно, чтобы программа на каждой из этих страниц, в контенте нашла нужную мне ссылку, если она там есть и поместила ее в текстовый файл. В итоге мы получаем список страниц ОДНОГО сайта в виде
    sire.ru/page1
    sire.ru/page2
    sire.ru/page3
    и т.д.
     
    NikitoS, 21 дек 2014
    #7
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Чтобы и дальше не было недопониманий и бесполезной работы, Вы КОНКРЕТНО НА ПРИМЕРЕ ПОКАЖИТЕ, что нужно сделать:
    Получается, что задачу ЗНАЕТЕ ТОЛЬКО ВЫ, а изложить так, чтобы я понял у вас пока не получается.
     
    Root, 21 дек 2014
    #8
  9. NikitoS

    NikitoS New Member Пользователи

    Регистрация:
    31 май 2012
    Сообщения:
    11
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1000 постов.**
     
    NikitoS, 21 дек 2014
    #9
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    1. в глобальной поиск-замена (вызов сочетанием клавишь shift+ctrl+r) добавьте регулярное выражение которое отметит нужные элементы до срабатывания захвата границ.
    Код:
    re:sayt\.com/([a-z0-9_]{3,})([^\.\?]+)|<nado>sayt.com/$1</nado>
    2. далее укажите в повторяющиеся границы (вызов сочетанием клавишь ctrl+1 и смотрите правее) чтоб цепляло метки созданные
    <nado> и </nado>

    3. в шаблоне вывода (вызов сочетанием клавишь ctrl+2) укажите только
    Код:
    [DELDUP({br})]<CD_CYCLE_GRAN_1!>[/DELDUP]
    чтоб в собранном от страницы отсеять дубли.
     
    Последнее редактирование: 21 дек 2014
    kagorec, 21 дек 2014
    #10
  11. NikitoS

    NikitoS New Member Пользователи

    Регистрация:
    31 май 2012
    Сообщения:
    11
    Спасибо большое! Все работает, как надо.
     
    NikitoS, 21 дек 2014
    #11
Similar Threads
  1. dmitryt

    Парсинг ссылок

    dmitryt, 23 июл 2014, в разделе: Функции и интерфейс программы
    Ответов:
    6
    Просмотров:
    1.659
    Root
    29 июл 2014
  2. News066

    Парсинг 100.000 ссылок

    News066, 23 авг 2014, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    2
    Просмотров:
    1.452
    News066
    24 авг 2014
  3. 4toy

    Парсинг ссылок

    4toy, 11 июл 2015, в разделе: Разное
    Ответов:
    9
    Просмотров:
    1.706
    4toy
    15 июл 2015
  4. asvv

    Парсинг ссылок

    asvv, 26 авг 2015, в разделе: Границы парсинга
    Ответов:
    5
    Просмотров:
    1.625
    Ramir
    8 ноя 2015
  5. artur

    Парсинг ссылок

    artur, 11 окт 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    2
    Просмотров:
    1.035
    artur
    12 окт 2015
Загрузка...

Поделиться этой страницей