странное поведение парсера

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем greatmax2000, 6 апр 2015.

  1. greatmax2000

    greatmax2000 New Member Пользователи

    Регистрация:
    9 мар 2013
    Сообщения:
    4
    Симпатии:
    0
    И так есть задача спарсить определенные товары с сайта по моделям. Ссылки делаем вручную в экселе(тк рез-тат нужен только по товарам из списка в экселе, да и быстрее список ссылок не получить - все созданные ссылки работают, проверял).

    И так настроил границы парсинга, добавил ссылки и запустил процесс, процесс закончился смотрю результат.
    И вот:
    !!Проблема!! в папке image куча дублей фото товаров, и аналогично и в таблице csv. Три раза перенастраивал, рез-тат один и тот же. Подскажите что не так(версия парсера последняя).

    Вот файл проекта
    Посмотреть вложение fotos_ua.cdp
     
  2. dexperanto

    dexperanto New Member Пользователи

    Регистрация:
    21 ноя 2014
    Сообщения:
    123
    Симпатии:
    3
    Потому что если сливаете картинки через nimg, то у неё нет задачи удалять дубли фоток в каталоге. Столкнулся с такой же проблемой у себя, где тысячи вакансий у сотни компаний, и много повторов иконок.
    Выход такой: [DFN][CLEAR][TRANSLITE][NOFOLDER]<CD_GRAN_1!>[REWRITE][/DFN]<DOWNLOADFILE>http://static.rabota.ru/<CD_GRAN_4!></DOWNLOADFILE>

    cd_gran_1 - название файла.
    cd_gran_4 - ссылка на файл.
    если ссылки неполные, можете тут же подписать полный адрес, в моем случае это static.rabota.ru.
     
  3. dexperanto

    dexperanto New Member Пользователи

    Регистрация:
    21 ноя 2014
    Сообщения:
    123
    Симпатии:
    3
    В вашем случае это будет
    [DFN][CLEAR][TRANSLITE][NOFOLDER]<CD_GRAN_1!>[REWRITE][/DFN]<DOWNLOADFILE><CD_GRAN_15!></DOWNLOADFILE>
    где cd_gran я взял название модели.
    проект в прикреплении.
     

    Вложения:

    • fotos_ua.cdp
      Размер файла:
      46,3 КБ
      Просмотров:
      2
  4. greatmax2000

    greatmax2000 New Member Пользователи

    Регистрация:
    9 мар 2013
    Сообщения:
    4
    Симпатии:
    0
    я тут попробовал использовать [DUPIGNORE], да дубли пропали, но подозрительно мало товаров было загружено. т.к когда на сайт заходишь он показывает, что у него 400 слишним их, а когда прогоняешь по моему списку ссылок(384) их всего 155 парсит(возможно мой список ссылается действительно только на 155 товаров с описаниями и фото, проверить ручками я его не в состоянии, а других способов не знаю).
    сейчас по пробую сделать как вы предложили посмотрю какой рез-тат будет.
     
    Последнее редактирование: 7 апр 2015
  5. greatmax2000

    greatmax2000 New Member Пользователи

    Регистрация:
    9 мар 2013
    Сообщения:
    4
    Симпатии:
    0
    сделал. По фото результат оказался идентичный что и с использованием [DUPIGNORE] 155шт, а вот в таблице ерунда полная дублей вагон.
    А с использованием [DUPIGNORE] в таблице появились загадочные строчки с именем картинки image-"номер".jpg без указания модели Ссылки недоступны для гостей
    Да и еще ерунда получилась с названием модели(оно задублировалось в своей ячейке) и соот-но в картинке Ссылки недоступны для гостей

    Может еще версии будут, чтобы чистый результат получить?
     
    Последнее редактирование: 7 апр 2015
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Симпатии:
    1.422
    Там где фото вместо артикула имело название image-12.jpg это изза отсутствия границы от которой назначается имя.
    Граница 20 артикул, в доп.настройках границ указано что "обязательно"
    Пробуйте.
     

    Вложения:

Поделиться этой страницей