Парсинг ссылок

Discussion in 'Решение различных задач по парсингу' started by NikitoS, Dec 21, 2014.

  1. NikitoS

    NikitoS New Member Пользователи

    Joined:
    May 31, 2012
    Messages:
    11
    Здравствуйте!

    Помогите разобраться. Есть база ссылок, из этой базы нужно спарсить все ссылки на страницы нужного мне сайта и записать их в текстовый документ. Если это уже обсуждалось, буду благодарен, если кинете ссылку на обсуждение.
     
    NikitoS, Dec 21, 2014
    #1
  2. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Что именно за база? Пожалуйста, поясните...
     
    Root, Dec 21, 2014
    #2
  3. NikitoS

    NikitoS New Member Пользователи

    Joined:
    May 31, 2012
    Messages:
    11
    Эту базу я спарсил с Гугла по запросу (key "site.ru" -inurl:"site.ru") т.е. это страницы различных сайтов, которые ссылаются на нужный мне сайт.
    Теперь с помощью CD мне нужно "вытащить" все упоминания на исходный сайт и записать их в текстовый документ. В итоге я хочу получить список страниц нужного мне сайта, на которые когда-либо оставляли ссылки.
    Извините, если немного сумбурно... Если нужны еще какие-нибудь детали, я уточню.
     
    Last edited: Dec 21, 2014
    NikitoS, Dec 21, 2014
    #3
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    База ссылок в каком виде? Пример можно?
     
    Root, Dec 21, 2014
    #4
  5. NikitoS

    NikitoS New Member Пользователи

    Joined:
    May 31, 2012
    Messages:
    11
    Да, пожалуйста:
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1000 or greater.**
     
    NikitoS, Dec 21, 2014
    #5
  6. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Специализированных функций по сбору ТАКИХ ссылок из ТЕКСТОВОГО файла нет, но можно обойтись следующим способом:

    1) Добавить ссылки в список ссылок (F8)
    2) Настроить нужным образом фильтры ссылок (ctrl+3)
    3) Применить фильтры ссылок к списку ссылок (правый клик по списку ссылок -> "применить фильтры к списку ссылок")
    4) Скопировать все оставшиеся ссылки в буфер (правый клик по списку ссылок -> "скопировать все")

    С уважением к вам, Сергей...
     
    Root, Dec 21, 2014
    #6
  7. NikitoS

    NikitoS New Member Пользователи

    Joined:
    May 31, 2012
    Messages:
    11
    Сергей, спасибо, что пытаетесь мне помочь!
    Но Вы меня, возможно, не поняли (или я что-то недопонимаю). Я не хочу собрать ссылки из списка. Задача немного другая:

    Есть список ссылок (пример я привел выше). Нужно, чтобы программа на каждой из этих страниц, в контенте нашла нужную мне ссылку, если она там есть и поместила ее в текстовый файл. В итоге мы получаем список страниц ОДНОГО сайта в виде
    sire.ru/page1
    sire.ru/page2
    sire.ru/page3
    и т.д.
     
    NikitoS, Dec 21, 2014
    #7
  8. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Пожалуйста.

    Чтобы и дальше не было недопониманий и бесполезной работы, Вы КОНКРЕТНО НА ПРИМЕРЕ ПОКАЖИТЕ, что нужно сделать:
    Получается, что задачу ЗНАЕТЕ ТОЛЬКО ВЫ, а изложить так, чтобы я понял у вас пока не получается.
     
    Root, Dec 21, 2014
    #8
  9. NikitoS

    NikitoS New Member Пользователи

    Joined:
    May 31, 2012
    Messages:
    11
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1000 or greater.**
     
    NikitoS, Dec 21, 2014
    #9
  10. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    1. в глобальной поиск-замена (вызов сочетанием клавишь shift+ctrl+r) добавьте регулярное выражение которое отметит нужные элементы до срабатывания захвата границ.
    Code:
    re:sayt\.com/([a-z0-9_]{3,})([^\.\?]+)|<nado>sayt.com/$1</nado>
    2. далее укажите в повторяющиеся границы (вызов сочетанием клавишь ctrl+1 и смотрите правее) чтоб цепляло метки созданные
    <nado> и </nado>

    3. в шаблоне вывода (вызов сочетанием клавишь ctrl+2) укажите только
    Code:
    [DELDUP({br})]<CD_CYCLE_GRAN_1!>[/DELDUP]
    чтоб в собранном от страницы отсеять дубли.
     
    Last edited: Dec 21, 2014
    kagorec, Dec 21, 2014
    #10
  11. NikitoS

    NikitoS New Member Пользователи

    Joined:
    May 31, 2012
    Messages:
    11
    Спасибо большое! Все работает, как надо.
     
    NikitoS, Dec 21, 2014
    #11
Similar Threads
  1. dmitryt

    Парсинг ссылок

    dmitryt, Jul 23, 2014, in forum: Функции и интерфейс программы
    Replies:
    6
    Views:
    1,660
    Root
    Jul 29, 2014
  2. News066

    Парсинг 100.000 ссылок

    News066, Aug 23, 2014, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    2
    Views:
    1,452
    News066
    Aug 24, 2014
  3. 4toy

    Парсинг ссылок

    4toy, Jul 11, 2015, in forum: Разное
    Replies:
    9
    Views:
    1,707
    4toy
    Jul 15, 2015
  4. asvv

    Парсинг ссылок

    asvv, Aug 26, 2015, in forum: Границы парсинга
    Replies:
    5
    Views:
    1,627
    Ramir
    Nov 8, 2015
  5. artur

    Парсинг ссылок

    artur, Oct 11, 2015, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    2
    Views:
    1,035
    artur
    Oct 12, 2015
Loading...

Share This Page