Вопросы по работе с ссылками

Тема в разделе "Функции и интерфейс программы", создана пользователем Vladyslav, 4 май 2018.

  1. Vladyslav

    Vladyslav Member Пользователи

    Регистрация:
    20 фев 2015
    Сообщения:
    58
    Здравствуйте, уважаемые форумчане.
    Прочитал всю wiki по CD, вручную просмотрел все функции CD, но не нашел ответов на свои вопросы. Прошу не пинать, если все же упустил эти нюансы.

    Теперь сами вопросы:

    1. Возможно ли ограничить количество собираемых ссылок для домена? Видел ограничение для страницы, но интересует именно для каждого уникального сайта. К примеру, есть 100 сайтов, с них нужно собрать по 50 ссылок 2-го или по 50 ссылок 3-го уровня.
    2. Возможно ли проверить наличие определенного параметра в ссылке (по типу Checkentry)? Идеально подходит фильтр ссылок с его настройками для сбора ссылок. Но мне нужно не собрать, а только проверить есть ли определенные ссылки на сайте. Или здесь вариант только писать уникальные регулярки?
    3. Есть ли ограничение в фильтре ссылок на количество параметров в поле "не добавлять ссылки содержащие"? И как это влияет на скорость работы программы, если список огромен?

    Заранее благодарен за ответы.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    1)
    2018-05-04_21-36-08.png

    2) Может подойдет макрос шаблона вывода:
    2018-05-04_21-37-19.png
    Если нет, регулярками пробовать (я их не изучал).

    3) Ограничения нет. Производительность с большими списками не тестировал, попробуйте.
     
    Vladyslav нравится это.
  3. Vladyslav

    Vladyslav Member Пользователи

    Регистрация:
    20 фев 2015
    Сообщения:
    58
    [GETURLSBYANCHORS] - не подходит. Меня интересует именно параметры в самом урле, к примеру, в коде site.ru детектировать наличие ссылки вида site.ru/contacts по параметру contact
    У Вас так работает фильтр ссылок, вот только он предназначен для сбора ссылок. Мне же нужно только определения наличия. Буду тогда использовать регулярки.
    Спасибо за ответы.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Просто в шаблон фильтров ссылок прописать /contacts, я не понимаю проблемы.
     
  5. Vladyslav

    Vladyslav Member Пользователи

    Регистрация:
    20 фев 2015
    Сообщения:
    58
    Да, проблемы собственно нет. Просто мне нужно не собрать ссылки, а лишь проверить их наличие в коде, поэтому фильтр ссылок и не подходит. Буду юзать регулярки.
     
    Root нравится это.
  6. Vladyslav

    Vladyslav Member Пользователи

    Регистрация:
    20 фев 2015
    Сообщения:
    58
    Еще возник вопрос: макрос [GETURLSBYANCHORS(*)] извлекает почему-то не все ссылки. К примеру, не извлекается ссылка - _Ссылки недоступны для гостей с сайта _Ссылки недоступны для гостей

    Я понимаю, что это якорь, но в коде то он обозначен как обычная ссылка href="/
    Скажите, пожалуйста, по какому принципу макрос [GETURLSBYANCHORS(*)] извлекает ссылки из кода?
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Доработал.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Добавьте оператор [KEEPGRILL]:
     
    Vladyslav нравится это.

Поделиться этой страницей