Почему в сбор ссылок попадает не то что нужно

Тема в разделе "Общее", создана пользователем solanj, 24 фев 2021.

  1. solanj

    solanj New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    46
    Сайт Ссылки недоступны для гостей нужно спарсить раздел Розетки и выключатели
    добавляю в шаблон для ссылок : Добавлять только ссылки содержащие
    .html
    abb-basic-55-cena-izdelij-v-sbore
    abb-impuls-cena-izdelij-v-sbore
    abb-decento-cena-izdelij-v-sbore
    abb-dinastiya-cena-izdelij-v-sbore
    abb-alpha-nea-cena-izdelij-v-sbore
    abb-alpha-exclusive-cena-izdelij-v-sbore
    abb-busch-axcent-cena-izdelij-v-sbore
    abb-solo-cena-izdelij-v-sbore
    abb-carat-cena-izdelij-v-sbore
    abb-pure-stal-cena-izdelij-v-sbore
    abb-future-linear-cena-izdelij-v-sbore
    abb-reflex-sisi-linear-cena-izdelij-v-sbore
    abb-allwetter-44-ip-44-cena-izdelij-v-sbore
    mekhanizmy-rozetok-i-nakladki-abb
    vyklyuchateli-regulyatory-datchiki-abb
    ramki-abb

    и получаю кучу не нужных ссылок типа
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей

    почему собираются ссылки не содержащие то что я перечислила в шаблоне?
    И как правильно прописать чтобы .html в любом случае был обязательным с любым другим условием? Регулярное выражение?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Проект для сбора ссылок с указанной рубрики я приложил (просто запустите сканер сайтов).
     

    Вложения:

  3. solanj

    solanj New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    46
    спасибо огромное, но мне все же хотелось бы разобраться что делала ни так и почему лишние ссылки попали
    в частности еще и потому, что это не все и мне еще вот эти категории нужно спарсить
    Датчики движения
    Аудиосистемы для дома
    Домофоные системы
    Теплый пол
    Системы KNX/EIB Умный Дом
    Электронные дверные замки
    Телеблоки в мебель
    Источники бесперебойного питания
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Все подробности описаны и показаны на видео в разделе помощи
    Ссылки недоступны для гостей

    п.с. сайт видимо перегружен был и Ссылки недоступны для гостей, не на чем проверить.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    2021-02-25_04-36-13.png
     

    Вложения:

    solanj нравится это.
  6. solanj

    solanj New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    46
    Еще раз спасибо.
    Я правильно понимаю, в этом файле уже все эти категории?
    И еще такой вопрос. а что нужно в качестве стартового урла добавлять, если несколько категорий? Тогда просто ссылка на главную?
    А так же дайте ссылку, пож, где конкретно можно посмотреть, или почитать как редактировать список очереди. Не вручную же это делается :) Я думала можно сразу отфильтровать это в фильтре ссылок, но вижу что в вашем файле это не проставлено. Поэтому не совсем могу понять как это сделано.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Да, в очередь сканера уже добавлены ссылки на указанные вами рубрики сайта.

    Если список очереди не пуст, стартовый URL игнорируется.

    Кнопка редактирования обведена на скриншоте выше.
     
  8. solanj

    solanj New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    46

    пока разобралась
     
    Последнее редактирование: 25 фев 2021
    Root нравится это.
  9. solanj

    solanj New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    46
    подскажите, пожалуйста.
    пытаюсь собрать характеристики при помощи [DYNAMICVALUES]
    почему-то получается каша в строках
    если делаю в REPLACE </td>{br2}|[NEXTPAIR] это не срабатывает и тег </td> остается
    если </td>|[NEXTPAIR] то тег убирается, но переносятся строки. И вообще в колонках каша. Не могу понять как привести все к нужному виду. вроде делаю все по инструкции.
     

    Вложения:

  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
     

    Вложения:

    solanj нравится это.
  11. solanj

    solanj New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    46
    не знаю как вас и благодарить :))
     
    Root нравится это.
  12. solanj

    solanj New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    46
    подскажите. как применить макрос {skip} в случае с категориями?
    вот есть кусок
    категория <li typeof="v:Breadcrumb"><a rel="v:url" property="v:title" href="Ссылки недоступны для гостей" title="Домофонные системы">Домофонные системы</a>
    подкатегория <li typeof="v:Breadcrumb"><a rel="v:url" property="v:title" href="Ссылки недоступны для гостей" title="Домофонные системы ABB-Welcome">Домофонные системы ABB-Welcome</a>
    правильно ли тут будет применить макрос {skip} ?
    и какой в этом случает кусок лучше в него заключить?
    вот тут Ссылки недоступны для гостей нашла об этом, но не пойму как использовать. Как вообще включается этот макрос когда находишься на странице задания границ?
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Перезадал подкатегорию 1 и подкатегорию 2.
     

    Вложения:

  14. solanj

    solanj New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    46
    спасибо. но дело в том что файл у меня уже другой там еще кроме подкатегорий есть категория
    И я без объяснений так и не научусь ни чему и буду у вас мучить вопросами всю оставшуюся жизнь :))
    вот у этого товара категория и 2 подкатегории Ссылки недоступны для гостей
    значит еще нужна колонка. тогда категорию можно переименовать в подкатегорию 3
    И как-то бы их по порядку выставить. Не могу понять как. можно как-то эти колонки перемещать? Или это только в шаблоне переставить можно?
    CatsHTMl это повторяющиеся границы, или вы сделали это каким-то другим способом?
    и HTML с характеристиками это что и с помощью чего сделано?
     

    Вложения:

  15. solanj

    solanj New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    46
    вот вроде попыталась сделать по аналогии с вашими подкатегория 1 и 2, но при просмотре вместо названия вся эта строка <a rel="v:url" property="v:title" href="Ссылки недоступны для гостей" title="Тумблерные выключатели и накладки FEDE">Тумблерные выключатели и накладки FEDE</a>
    А еще там появилась какая-то колонка Cats
     

    Вложения:

    Последнее редактирование: 25 фев 2021
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Для удаления HTML из границы парсинга пользуйтесь этой опцией

    2021-02-26_04-39-38.png

    Порядок столбцов задается в строке заголовка и шаблоне вывода

    2021-02-26_04-44-18.png

    Также можно редактировать шаблон вывода в виде таблицы

    2021-02-26_04-44-53.png


    HTML с характеристиками это таблица с характеристиками (для [VERTTABLE]).
     

    Вложения:

    solanj нравится это.
  17. solanj

    solanj New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    46
    огромное спасибо
     
    Root нравится это.

Поделиться этой страницей