Парсит но не сохраняет

Тема в разделе "Шаблон вывода", создана пользователем Дмитрий Буто, 10 янв 2014.

  1. Дмитрий Буто

    Дмитрий Буто New Member Пользователи

    Регистрация:
    3 янв 2014
    Сообщения:
    44
    Добрый день, решил пропарсить товары с яндекс маркета. Задал 20 границ обычных Ссылки недоступны для гостей, попробовал открыть 20 страниц для проверки корретности вывода , все везде отлично Ссылки недоступны для гостей , начал парсить, все парсит, но нигде не сохраняется ни csv ни картинки. Путь указан правильно, в настройках проверил Ссылки недоступны для гостей
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    Смотрите лог парсинга (ctrl+l).
     
  3. Дмитрий Буто

    Дмитрий Буто New Member Пользователи

    Регистрация:
    3 янв 2014
    Сообщения:
    44
    Просмотрел Ссылки недоступны для гостей
    Картинки сохраняет , а вот csv нет
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Во первых нажмите на 1 в основной вкладке настроек, для того чтоб парсило в 1 документ, если конечно вам не нужно 1000 документов отдельно. А где вы смотрите csv?
    2) выложите хоть 1 ссылку откуда берете значения и картинку
     
  5. Дмитрий Буто

    Дмитрий Буто New Member Пользователи

    Регистрация:
    3 янв 2014
    Сообщения:
    44
    Нажал единицу.
    Попробовал пропарсить, нажал crt+l Ссылки недоступны для гостей
    Смотрю файл csv тут Ссылки недоступны для гостей
    кроме изображений тут ничего нет Ссылки недоступны для гостей
    ссылки всех товаров ниже
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.438
    Адрес:
    Latvia
    5 потоков без паузы, вас маркет так быстро забанит, скорее всего это уже произошло.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Кажется вы макрос переименования документов или картинок не на отдельную строку поместили в шаблоне вывода, это так?
     
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    а еще лучше в 1 поток, и с паузой в 10-50 мс.
    А будет ли срабатывать здесь условие "Не парсить, если забанен?"
     
  9. Дмитрий Буто

    Дмитрий Буто New Member Пользователи

    Регистрация:
    3 янв 2014
    Сообщения:
    44
    Вот скрин шаблона Ссылки недоступны для гостей
    Сделал переименование картинок в отдельный столбец (но не строку)
    Возможно забанен. Сделал 1 поток, 50 мс. Какие еще действия нужны, и что сделать если забанен?
    Посмотрел, вряд ли забанен, т.к. можно задавать границы , проверил по всем элементам, как мне надо грузит Ссылки недоступны для гостей
    Если забанен был бы, не грузило бы с элемента, так ведь?
    Парсить пробую, все равно картинки парсит, а файла нет, что за напасть такая...
     
    Последнее редактирование: 11 янв 2014
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Да елки палки!!! :facepalm:
    НА НОВУЮ СТРОКУ МАКРОС ПОЖАЛУЙСТА, не на новый столбец!!! ВЕЗДЕ ПРО ЭТО НАПИСАНО!!! :)
    СТРОКА С МАКРОСОМ ПРИ ПАРСИНГЕ УДАЛЯЕТСЯ! ПРИ ПРЕДПРОСМОТРЕ НЕТ!
     
  11. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Напишите версию вашей программы.
    Скопируйте сюда текст Шаблона, не картинку.
    А еще лучше выложите проект и распишите, что по вашему мнению, у Вас должно получится.

    Сейчас у вас вид такой.
    Столбец1|Столбец2|Столбец3|и тд
    а должно быть
    Столбец1
    Строка1
    Строка2
    Строка3
    если нужны переносы строк добавляйте <br>.
    Строка1<br>
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Kreol, спасибо! Но его проблема явно известна.
    Сейчас просто собьете его с толку. Для решения проблемы нужно просто перенести макрос IMAGESNAMES на новую строку!
     
  13. Дмитрий Буто

    Дмитрий Буто New Member Пользователи

    Регистрация:
    3 янв 2014
    Сообщения:
    44
    К сожалению проблема явно не в переносе imagesnames_, перенес макрос в новую строку, пропарсил Ссылки недоступны для гостей. Итог как всегда images есть, файла нет. Вот лог парсинга Ссылки недоступны для гостей
     
  14. Дмитрий Буто

    Дмитрий Буто New Member Пользователи

    Регистрация:
    3 янв 2014
    Сообщения:
    44
    Спасибо за понимание.Версия 9.08(последняя). Первое поле-название товара (просто вывод в отдельную ячейку), второе поле изображение, третье поле характеристики -Мне именно нужен вывод этого поля в таком формате "текст:граница парсинга|текст:граница парсинга. 4е и 5е поле -текста генерируемые Переносов не нужно. Файл проекта тут Посмотреть вложение market_yandex_by2.cdp .
    В итоге мне надо сделать файл для импорта товаров в joomshopping , нужно пару полей (они все присутствуют в данном проекте)
     
    Последнее редактирование: 11 янв 2014
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Теперь работает, дело было в IMAGESNAMES, как и говорил. Я добавил новую строку в ячейке с IMAGESNAMES. Не очень удобно получается использовать этот макрос с новым форматом CSV.
     

    Вложения:

  16. Дмитрий Буто

    Дмитрий Буто New Member Пользователи

    Регистрация:
    3 янв 2014
    Сообщения:
    44
    Спасибо действительно, т.е. дело было в переносе именно на вторую строчку. Но получается что файл вывода имеет странный вид Ссылки недоступны для гостей , т.е. каждый 2 строки у нас будут пустыми, из-за маркоса IMAGESNAMES_ .
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
    Обновитесь до версии 9.09 и попробуйте снова. Прошу отписаться. Спасибо!
     
  18. Buto

    Buto New Member Пользователи

    Регистрация:
    15 янв 2014
    Сообщения:
    11
    Попробовал все работает, однако несколько изображений почему то не сохранило 7 (из 44) . Файл csv имел такой вид Ссылки недоступны для гостей . Файл проекта вот Посмотреть вложение images_cd.cdp
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Были не лучшим образом заданы границы парсинга для изображений. Доработанный файл проекта прикрепил к сообщению. Спасибо за то, что обратились!
     

    Вложения:

  20. Buto

    Buto New Member Пользователи

    Регистрация:
    15 янв 2014
    Сообщения:
    11
    Спасибо все работает безукоризненно
     

Поделиться этой страницей