Как спарсить ссылки из топика форума?

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем oxid, 2 июн 2013.

  1. oxid

    oxid New Member Пользователи

    Регистрация:
    24 окт 2012
    Сообщения:
    1
    Собственно вот проблемка!

    Есть перелинкованые топики (пример: skbbsintok.net/forumsintokfm/index.php?topic=109335.new в самом низу анкорные ссылки на другие топики), как собрать топики которые участвуют в этой сетке?
    Главная загвоздка как фильтрануть ссылки с форума на котором топик?
     
    Последнее редактирование: 2 июн 2013
  2. seodamage

    seodamage New Member Пользователи

    Регистрация:
    5 фев 2014
    Сообщения:
    31
    тоже про этот метод на ботмастере прочитал?))) У меня похожая проблема, ибо парсится 6-8 гиговый фаил с 1кк ссылок. В нем при этом еще и пути на .css наподобие ./assets/css/main.css

    сколько не пихал .css в фильтр "не парсить ссылки с" все равно парсит :(
     
    Последнее редактирование: 24 мар 2014
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Что именно прописали в фильтр? Все работает при правильном использовании!
    Во вкладке "ссылки" можно указать область для поиска ссылок - используйте эту функцию.
     
  4. seodamage

    seodamage New Member Пользователи

    Регистрация:
    5 фев 2014
    Сообщения:
    31
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 100 постов.**
    screenshot777.png

    P.S.Почему то пропали старые фаилы проектов, поэтому щяс по памяти восстановил
     
    Последнее редактирование: 28 мар 2014
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Уверен, где-то у вас ошибка, фильтры работают!!!
    Выложите ваш проект, посмотрим...
     
  6. seodamage

    seodamage New Member Пользователи

    Регистрация:
    5 фев 2014
    Сообщения:
    31
    Спустя 3 месяца решил попробовать еще раз. Действительно, не работало, потому что находился во вкладке контент в момент парсинга. Если находится во вкладке ссылки, то фильтры работают. Но теперь столкнулся с проблемой, что ссылки парсятся в 1 поток, а не в 50. Сделайте пожалуйста в будующих версиях возможность увеличивать количество потоков во вкладке ссылки. А то приходится работать с миллионами ссылок и в 1 поток это невыполнимая задача.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    Для многопоточного парсинга ссылок используйте сканер сайтов Ссылки недоступны для гостей
     
  8. seodamage

    seodamage New Member Пользователи

    Регистрация:
    5 фев 2014
    Сообщения:
    31
    Спасибо, но вроде не подходит. Если я правильно понял, то инструмент служит для работы с 1 сайтом, а у меня база сайтов(форумов) их очень много
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ну да, неужели разработчик вам будет советовать то, что не подходит)
    Откройте сканер, добавьте туда ваш список ссылок и вперед.
    Уговаривать вас использовать инструмент, простите, не буду. Пользоваться им или нет - дело ваше...
     
    Felix_b нравится это.

Поделиться этой страницей