помощь в парсинге определенного сайта

Discussion in 'Решение различных задач по парсингу' started by Root, Mar 10, 2010.

Page 23 of 29
  1. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Нет, такого атрибута нет.

    Сделайте несколько различных вариантов повторяющихся границ парсинга.
     
    Root, Feb 3, 2015
    #441
  2. redfox

    redfox New Member Пользователи

    Joined:
    Feb 18, 2013
    Messages:
    35
    Плохо. Придется на ПХП реализовывать :)
     
    redfox, Feb 3, 2015
    #442
  3. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    В глобальную поиск-замена (сочетание клавишь shift+ctrl+r)
    PHP:
    re:<a([^<>]*)href="([^'"]+)"([^<>]*)nofollow([^<>]*)>|<nado>$2</nado>
    re:<a([^<>]*)nofollow([^<>]*)href="    ([^'"]+)"([^<>]*)>|<nado>$3</nado>
    re:<a([^<>]*)href='    ([^'"]+)'([^<>]*)nofollow([^<>]*)>|<nado>$2</nado>
    re:<a([^<>]*)nofollow([^<>]*)href='([^'"]+)'([^<>]*)>|<nado>$3</nado>
    Для повторяющиеся границы 1 укажите начало <nado> и конец </nado>
     
    kagorec, Feb 4, 2015
    #443
  4. redfox

    redfox New Member Пользователи

    Joined:
    Feb 18, 2013
    Messages:
    35
    Доктор, метод лечения не подошел пациенту :)
    Какие то маски поддерживаются при задании границ?
    По идее, вот такое бы сработало:
    <a(*)noffollow(*)>
    вместо (*) какая то маска.
     
    redfox, Feb 4, 2015
    #444
  5. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Выше перечисленные регулярные выражения хорошо справляются с выделением ссылок с nofollow
    При ссылке: <a href="sayt.ru/page.php" rel="nofollow">ankor</a>
    Результат: <nado>sayt.ru/page.php</nado>ankor</a>

    Если не получается, предоставьте адрес страницы (под хайдом)
     
    kagorec, Feb 4, 2015
    #445
  6. redfox

    redfox New Member Пользователи

    Joined:
    Feb 18, 2013
    Messages:
    35
    ОК.
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    noffollow может быть в начале или конце. тут как кто решит из создателей софта.
     
    redfox, Feb 4, 2015
    #446
  7. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    табы и переходы строки мешались, фиксим первой строкой замены
     
    Last edited: Feb 4, 2015
    kagorec, Feb 4, 2015
    #447
  8. shtiljr

    shtiljr New Member Пользователи

    Joined:
    Mar 20, 2015
    Messages:
    1
    Привет. Я недавно приобрел программу и мне нужна помощь.
    Мне нужна спарсить статьи с одного блога.
    Я уже спарсил ссылки с этого блога. И не могу понять как настроить программу, чтобы она начала парсить контент по указанным ссылкам.
    Если не сложно намекните или дайте ссылку, где об этом можно прочесть. Заранее спасибо!
     
    shtiljr, Mar 22, 2015
    #448
  9. Kreol

    Kreol Модератор Staff Member Модератор

    Joined:
    Jan 6, 2013
    Messages:
    2,666
    Здравствуйте!
    Вся основная информация тут: Ссылки недоступны для гостей
    Если нужны более детальные разъяснения. пишите на форум в соответствующие разделы с внятным ТЗ, что откуда и куда.
    Также можете заказать платную настройку у наших коллег Ссылки недоступны для гостей
     
    Kreol, Mar 22, 2015
    #449
  10. Александр Сео

    Александр Сео New Member Пользователи

    Joined:
    Mar 27, 2015
    Messages:
    9
    Добрый день! Подскажите пожалуйста как спарсить базу сайтов с miralinks_ru. Какими инструментами Content Downloader нужно пользоваться?
     
    Александр Сео, Mar 28, 2015
    #450
  11. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Открыл главную страницу сайта Миралинкс и никакой базы сайтов там не увидел. Соответственно, не могу помочь вам в решении данного вопроса.

    Следует указывать, что именно нужно парсить и с каких именно WEB-страниц.

    С уважением к вам, Сергей.
     
    Root, Mar 28, 2015
    #451
  12. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Для решения этой задачи нужна версия Content Downloader ULTIMATE.

    Файлы проектов я прикрепил к сообщению.

    1). В Content Downloader: меню - файл - загрузить проект;
    2). Перейти во вкладку "Контент", нажать кнопку с изображением ключика, в появившемся браузере ввести логин и пароль с опцией "запомнить", закрыть окно браузера (это была авторизация на сайте);
    2). Вернуться во вкладку "Ссылки", нажать ctrl+w и указать там путь к файлу проекта WBApp для парсинга ссылок (прикреплен к сообщению), затем закрыть окно, открытое нажатием ctrl+w;
    3). Нажать кнопку "выполнить предпросмотр элемента" на панели инструментов главного окна программы и ждать, пока программа прокликает все страницы.

    С уважением к вам, Сергей...
     

    Attached Files:

    Root, Mar 28, 2015
    #452
  13. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Вот результат парсинга
     

    Attached Files:

    Root, Mar 29, 2015
    #453
  14. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    На ночь поставил с другими настройками, теперь собрано 8000+ ссылок (все ссылки).
     

    Attached Files:

    Root, Mar 29, 2015
    #454
  15. Александр Сео

    Александр Сео New Member Пользователи

    Joined:
    Mar 27, 2015
    Messages:
    9
    Уважаемый Сергей, спасибо огромное за проект и сайты, сайты очень пригодились! Проект не может почему то до конца все сайты спарсить. У меня парсинг доходил максимум до 6000 спарсенных сайтов глючит IE. еще на сайте немного интерфейс поменял, сейчас не получается парсинг запустить к сожалению.
     
    Last edited: Apr 2, 2015
    Александр Сео, Mar 31, 2015
    #455
  16. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте еще раз.

    Пожалуйста.

    Только что проверил проект WBApp miralinks_ru_modified.wbapp - все работает (может быть вы не указали путь к нему в ctrl+w?).

    Из рекомендаций:
    Перед парсингом открыть WBApp, перейти на страницу
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    И на этой веб-странице опцию "показывать на странице" сменить со значения 20 на значение 50. Также обратить внимание на "настройки таблицы", где оставить галочку ТОЛЬКО напротив "URL площадки".

    После этих действий у меня проходит все страницы...

    С уважением к вам, Сергей...
     
    Root, Mar 31, 2015
    #456
  17. Александр Сео

    Александр Сео New Member Пользователи

    Joined:
    Mar 27, 2015
    Messages:
    9
    Сергей, такое впечатление, что не могу авторизоваться через куки. Может с настройками IE у меня что то не так.
     
    Александр Сео, Mar 31, 2015
    #457
  18. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Миралинкс можно через iMacros (или Selenium) каждый шаг сохранять на компьютер, тоесть страницу в формате .html
    Content Downloader-ом распарсить .html в удобный формат csv
     
    kagorec, Mar 31, 2015
    #458
  19. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте еще раз.

    Через куки там авторизацию проходить не нужно.
    Это я вам написал для того, чтобы не передать куки, а пройти авторизацию на этом сайте в браузере Internet Explorer (он используется, как модуль в программе). Тогда и WBApp будет авторизован на этом сайте (там тоже используется модуль IE).

    Проекты я вам предоставил, скачайте их и следуйте инструкциям, которые к ним были приложены. При соблюдении всех рекомендаций и указаний, у вас должно парситься без проблем.

    Если проблемы все же остаются, можете обратиться за помощью специалистов Ссылки недоступны для гостей (чтобы они удаленно проконтролировали ваши действия и указали на ошибку(и)).

    Спасибо!

    С уважением к вам, Сергей...
     
    Root, Mar 31, 2015
    #459
  20. Александр Сео

    Александр Сео New Member Пользователи

    Joined:
    Mar 27, 2015
    Messages:
    9
    Уважаемые Сергей и kagorec, спасибо за помощь! Подскажите пожалуйста как Content Downloader скормить получившиеся html файлы?
     
    Александр Сео, Apr 1, 2015
    #460
Page 23 of 29
Similar Threads
  1. yad2000

    Требуется помощь в парсинге повторяющихся границ

    yad2000, Feb 27, 2013, in forum: Решение проблем с использованием программы
    Replies:
    4
    Views:
    2,398
    yad2000
    Feb 28, 2013
  2. Ohuyama

    Нужна помощь в парсинге текстового файла

    Ohuyama, Oct 13, 2014, in forum: Решение различных задач по парсингу
    Replies:
    15
    Views:
    1,591
    Root
    Oct 14, 2014
  3. yulisan

    Нужна помощь в парсинге сайта

    yulisan, Nov 27, 2015, in forum: Решение различных задач по парсингу
    Replies:
    1
    Views:
    837
    Root
    Nov 27, 2015
  4. Irbis

    Требуется помощь в парсинге

    Irbis, Dec 21, 2015, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    2
    Views:
    1,185
    Irbis
    Dec 21, 2015
  5. novi4ok

    помощь в парсинге интернет-магазина

    novi4ok, Dec 24, 2015, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    1
    Views:
    1,581
    Root
    Dec 25, 2015
Loading...

Share This Page