Не совпадают файлы картинок с данными в csv

Тема в разделе "Решение различных задач по парсингу", создана пользователем ВладБлад, 18 июл 2015.

  1. ВладБлад

    ВладБлад New Member Пользователи

    Регистрация:
    6 июн 2013
    Сообщения:
    28
    Привет, друзья.
    Парсил магазин с 18000 товара. Настройки сделал по 1000 позиций csv и по 1000 файлов картинок в папке.
    В результате получил 17 папок с картинками и 19 файлов csv.
    В каждой папке и в каждом файле нумерация начинается заново.
    Соотнести невозможно, бардак получился, в csv не соотносится с картинками, номера картинок не подходят к позициям. Также названия картинок полностью дублируются (одинаковые) в некоторых csv.

    Подскажите как лучше всё сделать?
    Неужели в один файл csv и в одну папку картинки?
    Хотелось бы строго. К одному csv загружаются в строго для него папку картинки.
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Опишите вашу проблему более детально.
     
  3. ВладБлад

    ВладБлад New Member Пользователи

    Регистрация:
    6 июн 2013
    Сообщения:
    28
    Какой момент более детально?
    Заряжаю парсинг.
    1. Сколько документов сохранять в файл? 1000
    2. По сколько картинок сохранять в папку? 1000
    В результате получается 19 файлов csv и 17 папок с картинками.
    В первом же файле csv нет соответствия папке с картинками. Т.е., если картинка называется image-115.jpg, то это еще не значит, что она соответствует спарсенной позиции в csv файле. В csv файле это может быть картинка духов, а в папке с картинками это может быть мазь. Хотя название у них одно и тоже: image-115.jpg
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Ну тогда у вас нескольо вариантов:
    1) либо вы их насильно переименовываете макросом DFN + DOWNLOADFILE
    2) либо оставляете названия которые на сайте
     
  5. ВладБлад

    ВладБлад New Member Пользователи

    Регистрация:
    6 июн 2013
    Сообщения:
    28
    2 вариант понял.
    1 вариант - я поставил переименование <NIMG><CD_GRAN_9!></NIMG>[IMAGESNAMES]mysite[/IMAGESNAMES] . Но фишка в том, что они в каждой новой папке начинают заново нумерацию.
    Я мыслил так: если файлов csv 19, то и папок с картинками должно быть 19. Каждому csv соответствует своя папка с картинками. Так можно сделать?
     
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    я не готов дать ответ на этот вопрос. Подождем ответа моих коллег.
    Спасибо!
     
  7. ВладБлад

    ВладБлад New Member Пользователи

    Регистрация:
    6 июн 2013
    Сообщения:
    28
    Спасибо, что отреагировали. Это радует. Я пока не буду стоять на месте.
    Попытаюсь всё спарсить в одну папку картинки и в один файл csv. Но мне кажется - это не совсем верное направление. :( Сколько же будет отрываться файл с 18к строчками и папка с 18к (минимум картинками)...
     
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    На самом деле все зависит от параметров компьютера.
    Например у меня Total commander открывает папку с 100к фоток за пол минуты- минуту.
     
  9. ВладБлад

    ВладБлад New Member Пользователи

    Регистрация:
    6 июн 2013
    Сообщения:
    28
    Это понятно. :)
    Но ведь я логично размышлял? Если да - то это мое предложение для разработчика (выше проблема и описание).
    Если идет разбиение по 1000 (или другой набмеринг) csv и папок для картинок, то должно быть соответствие. Конечно, надо и другие нюансы учесть. Типа, csv по 1000 строк, а в папке картинок по 500. Но в любом случае должно соблюдаться соотвествие.
    Сколько ж я времени потерял. :(
    А в моей проблеме, я совсем не понял принцип.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Приложите сюда или вышлите мне на почту ваш файл проекта, чтобы запустил я посмотрел, в чем проблема (желательно оставить комментарий, какие именно картинки и от каких документов "подменяются").

    Спасибо!

    С уважением к вам, Сергей.
     
  11. ВладБлад

    ВладБлад New Member Пользователи

    Регистрация:
    6 июн 2013
    Сообщения:
    28
    Спасибо, за ответ, Сергей.
    Я за эту ночь спарсил всё в один файл и в одну папку. Не стал разбивать.
    В этот раз не буду высылать файлы проекта. Времени мало. Разбираюсь с полученным парсингом.
    Спасибо Вам за поддержку.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста. Обращайтесь! Надеюсь, поможем.
     

Поделиться этой страницей