Сканер не собирает ссылки на товары

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем weresa, 16 июл 2017.

  1. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Добрый день. Есть сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    . Парсинг легко настроила, а вот ссылки на товары сканер ни в какую не видит((
    Ссылка товара выглядит так -
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    По шаблону с "#" собирает всякий мусор, а по шаблону с "html" - вообще ничего не собирает.
    Подскажите, пожалуйста, как тут быть?
     
    Последнее редактирование модератором: 16 июл 2017
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте.
    Я бы не собирал сканером (не люблю я его)
    я бы шел по пути сбора ссылок через dom на вкладке ссылки, с перебором страниц
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  3. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    "сбора ссылок через dom" - это где такое есть?
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    ctrl+h галочка ссылки
     
  5. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    ставлю во вкладке Ссылки недоступны для гостей - запускаю парсить, собирает 74 ссылки, а их в разделе 124 должно быть... А сами начальные ссылки разделов откуда взять?

    А, нет, это же только 2 страница, значит нужно 60. Лишние 14 товаров взял из другого раздела((
     
    Последнее редактирование: 16 июл 2017
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    начальные я бы собрал ручками
    и привел бы их всех в вид {key}Ссылки недоступны для гостей
    в {key} бы засунул все начальные ссылки, например:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    и с генерировал от 1 до 5
     
  7. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Вроде, получается. Но все равно лишние какие-то ссылки загребает. Ну да пусть...
    СПАСИБО! ))
     
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    просмотрите информацию, думаю будет полузна
    Ссылки недоступны для гостей
     
  9. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Добрый день. Теперь аналогичная проблема с другим сайтом - Ссылки недоступны для гостей
    Ни в сканере, ни во вкладке Ссылки вообще не собираются ссылки на товары.
    Генерирую список такого вида Ссылки недоступны для гостей , и абсолютно никаких фильтров не ставлю - однако программа ни одного товара не берет((
    Подскажите, в чем загвоздка?
     
  10. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Сама нашла решение)
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  12. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Спасибо! Весьма полезно))
     
    Root нравится это.
  13. george_amsu

    george_amsu New Member Пользователи

    Регистрация:
    6 окт 2019
    Сообщения:
    3
    Город:
    благовещенск
    Привет! аналогична проблема.
     
  14. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Привет, попробуй аналогично решить.
     
  15. george_amsu

    george_amsu New Member Пользователи

    Регистрация:
    6 окт 2019
    Сообщения:
    3
    Город:
    благовещенск
    ай не думал что так быстро ответят, прочитал все, но решить не удается!
     
  16. george_amsu

    george_amsu New Member Пользователи

    Регистрация:
    6 окт 2019
    Сообщения:
    3
    Город:
    благовещенск
    ссылки последовательные типа:

    lamp.en - главная
    /acer/ - второй уровень
    /acer/lamp - третий

    то есть с главной все собираю, а дальше он не считывает, т.к. видит только /acer/, я попробовал через фильтр добавить в начало строки адрес сайта, двумя способами, подстановкой и поиском заменой, результат тот же... мануалы не расказывают о таком.
     
  17. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Приложите проект, из написанного сложно представить что в сканере еще настроено.
     
  18. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    В список очереди пробуйте добавить ссылки нужных категорий
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Воспользуйтесь рекомендациями из материала (поделайте предпросмотр результатов парсинга)
    Ссылки недоступны для гостей

    Осознайте, как работает сканер
    Ссылки недоступны для гостей

    Указанный сайт (lamp.en) у меня не открывается.
     

Поделиться этой страницей