Не берутся ссылки из всех каталогов

Тема в разделе "Решение различных задач по парсингу", создана пользователем Grafin, 19 дек 2018.

Статус темы:
Закрыта.
  1. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Доброго времени.
    Настроил проект парсинга сайта на предмет ссылок на товары. Вроде все как обычно.
    upload_2018-12-19_9-23-59.png
    upload_2018-12-19_9-25-3.png
    Можете подсказать почему берется только часть ссылок? Что нужно еще сделать в настройках?
    Проект прикрепляю.
    Ссылки недоступны для гостей
     

    Вложения:

  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    868
    Добрый день
    Все нормально берется
    [​IMG]
     
  3. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Это на первый взгляд. Он только берет 32 ссылки и все. Там товаров больше
    Соберите, там 2-3 мин. Для примера обратите внимание на 2 первые ссылки на товары - они из одного каталога по адресу Ссылки недоступны для гостей
    И взялось только 2 ссылки, хотя там 11 карточек товаров
    Или Ссылки недоступны для гостей - взялась одна ссылка, а их там 6.
    И т.п.
     
    Последнее редактирование: 19 дек 2018
  4. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    868
    [​IMG]
     
    Grafin нравится это.
  5. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Понято. Спасибо.
    А у вас 2756 ссылок получилось вида как на скрине? Что-то у меня не дает. Точнее собирает и не на товары.
    Поделитесь пожалуйста тем что вы сделали. Хочу посмотреть в чем у меня ошибка
     
    Последнее редактирование: 19 дек 2018
  6. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    upload_2018-12-19_21-53-58.png
     
  7. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Сделал как указано, но что-то берется все...
    Первый раз такое. Где искать решение проблемы?
    upload_2018-12-20_13-58-1.png
    upload_2018-12-20_13-58-47.png
    upload_2018-12-20_13-59-27.png
     
  8. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    868
    Бывает подглючивает
    Помогает перезагрузка CDx
     
  9. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    И смех и грех. Не идет и все. У меня CDx начального уровня - может в этом загвозка?
     
  10. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    868
    Вчера собранные
     

    Вложения:

  11. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Спасибо за ссылки.
    Но често говоря хочеться понять почему не идет сбор у меня.
    Я пошел еще другим путем. Сделал проект по генерации страниц в каталогах и сбора ссылок с этих страниц.
    Но похоже что-то сайт не простой. Вначале идет генерация и сбор, а потом не дает и пропускает все каталоги мимо.
    В чем хитрость? Как обойти?
    Посмотрите проект.
    И еще у меня подозрения, что с CDx что-то у меня не так...
    Можете прогнать собранные ссылки через проект по карточке товара?
    Сколько соберет? Что-то у меня мало весит итоговый файл...
     

    Вложения:

    Последнее редактирование: 20 дек 2018
  12. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    868
    Вы уверены что, правильно сгенерировали ссылки ?
    [​IMG]
    Ваши ссылки отличаются от сайта
    h_t_t_ps://russkoe-slovo.ru/catalog/709/?PAGEN_1=2
     
  13. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    ваш второй скрин пустой, а должно быть как у Вас было изначально второй скрин, там вписаны данные, если и так не поймете, тогда я хз)
    upload_2018-12-20_22-57-54.png
     
  14. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Да все наглядно, понятно.
    Прогнал собранные вами ссылки - собрал только 233 товара... (((
    Думаю должно быть больше
     
  15. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Настроил все в точности по скринам. У меня вообще не старнует парсинг. Жму старт и сразу сбрасывается меньше чем за секунду
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Программа на всех ПК работает одинаково. Перестаньте надумывать. Вы просто не умеете ее настраивать. Обратите внимание на материалы системы помощи.

    Ссылки недоступны для гостей
    Ссылки недоступны для гостей

    Переписки в этой теме, как вижу, толку не дают никакого.
     
Статус темы:
Закрыта.

Поделиться этой страницей