Сканер отправляет в не загруженные ссылки.

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Дмитрий К., 15 дек 2015.

  1. Дмитрий К.

    Дмитрий К. New Member Пользователи

    Регистрация:
    15 дек 2015
    Сообщения:
    1
    Здравствуйте!
    У меня такая проблема. Нужно спарсить товары с сайта Ссылки недоступны для гостей. Месяц назад все было хорошо. Сканер без проблем выдал около 4500 ссылок на товары и все они без проблем спарсились в CSV таблицу. Вчера пытался обновить контент, но сканер выдает только 2500 ссылок а остальное отправляет в не загруженные ссылки. Но проблема не только в этом. При парсинге выданных ссылок в таблицу CSV остается только около 500 товаров в таблице, а остальное исчезает. Хотя программа указывает, что загрузились все ссылки. Что это такое? У меня совместная закупка и я не могу обновить ассортимент косметики.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    При парсинге во вкладке "Контент" смотрите лог (ctrl+l).

    С уважением к вам, Сергей.
     
  3. Alexlife

    Alexlife Member Пользователи

    Регистрация:
    16 окт 2015
    Сообщения:
    49
    та же проблема, сканер сайта не видит все товары, в логе ничего не пишет
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Нужно проводить анализ сайта и искать причину (возможно, некоторые ссылки на сайте выводятся скриптом или как-то еще). Этой работой занимаются специалисты по настройке Ссылки недоступны для гостей

    Также проверьте, есть ли у сайта XML-карта. Большинство сайтов имеют XML-карту, содержащую ссылки на статьи/товары и прочее. Обычно карта располагается по адресу Ссылки недоступны для гостей (в корне). Просто попробуйте открыть подобный адрес у себя в браузере. Если карты сайта по такому адресу не будет, проверьте файл robots.txt (Ссылки недоступны для гостей), в котором может быть строка Sitemap: Ссылки недоступны для гостей и ей подобные.

    Ссылки из XMl-карты загружаются специальным инструментом Ссылки недоступны для гостей

    С уважением к вам, Сергей.
     
  5. Alexlife

    Alexlife Member Пользователи

    Регистрация:
    16 окт 2015
    Сообщения:
    49
    вы хотите сказать что программа парсит исключительно по карте сайта? карта сайта есть
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  6. Alexlife

    Alexlife Member Пользователи

    Регистрация:
    16 окт 2015
    Сообщения:
    49
    и ссылки не выводятся скриптом, ибо это не логично часть продуктов интернет магазина выводить без скрипта и часть ничем не отличающихся от первых выводить с помощью скрипта
     
  7. Alexlife

    Alexlife Member Пользователи

    Регистрация:
    16 окт 2015
    Сообщения:
    49
    успешно загрузил ссылки из карты сайта. спасибо!
     

Поделиться этой страницей