помощь в парсинге определенного сайта

Тема в разделе "Решение различных задач по парсингу", создана пользователем Root, 10 мар 2010.

  1. jozess

    jozess Member Пользователи

    Регистрация:
    19 дек 2010
    Сообщения:
    122
    Хотел спросить. Есть такая задача.

    1. Парсим статьи с картинками. Их в статье допустим 5 штук, и они раскиданы по всей статье.

    Задача такая. Нужно в конце статьи - эти картинки вывести списком. Такое возможно?
     
  2. A1ex_Sv

    A1ex_Sv New Member Пользователи

    Регистрация:
    12 сен 2011
    Сообщения:
    1
    Добрый день!
    Подскажите как спарить определенную категорию товаров если в интернет магазине ссылки на товар в не содержат название категории (..../index.php?productID=49475)!
    Заранее благодарен!
     
  3. moidodyr66

    moidodyr66 New Member Пользователи

    Регистрация:
    14 сен 2011
    Сообщения:
    14
    Надо отпарсить каталог товаров на сайте. Подскажите с чего начать. Ссылки недоступны для гостей
     
  4. KHV

    KHV New Member Пользователи

    Регистрация:
    15 мар 2011
    Сообщения:
    23
    у Вас проблем мало в жизни? :D

     
  5. scharon

    scharon New Member Пользователи

    Регистрация:
    19 сен 2011
    Сообщения:
    1
    Добрый день ! Хочу отпрайсить ИМ (Ссылки недоступны для гостей) в основе крупно бытовую технику. Просмотрел обучающее видео , но пока что- то не получается.
    Подскажите пожалуйста. т.к по опыту я новичок.
     
  6. Rus116

    Rus116 New Member Пользователи

    Регистрация:
    18 мар 2011
    Сообщения:
    3
    Не парсит товар. Как быть?

    Вот столкнулся с сайтом. Ссылки всё же я смог спарсить, товар отображается, но он похоже оформлен в java. Как быть?
    Ссылки недоступны для гостей
     
  7. gruz

    gruz New Member Пользователи

    Регистрация:
    4 окт 2011
    Сообщения:
    3
    всем привет, есть такая проблема

    чтобы спарсить на сайте нужно авторизоваться,

    адрес залогинивания такой

    Ссылки недоступны для гостей

    заголовки передает следующие

    POST /login/ fromCalculator=true&login=380666666666&password=111111

    ввожу в авторизатор

    данные для отправки:

    login=380666666666
    password=111111

    (да и вообще всевозможные варианты перепробовал, ничего не работает)

    адрес страницы авторизации:

    Ссылки недоступны для гостей

    пишет что все ок!

    но парсит пустоту,

    хотя вот такая строка

    Ссылки недоступны для гостей

    авторизуется на сайте

    спасибо
     
  8. sny_13

    sny_13 New Member Пользователи

    Регистрация:
    19 апр 2011
    Сообщения:
    3
    Есть ли возможность парсить твиты с twitter`а, если да то как?
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте, парсите ссылки на товары только с этой рубрики.
    Если можно, напишите ссылку на сайт/рубрику и я объясню как это сделать.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В последней версии программы есть возможность логиниться методом передачи cokies из встроенного браузера (вкладка "контент" - кнопка "авторизация/передать cookies"). Используйте эту функцию.
     
  11. torontino

    torontino New Member Пользователи

    Регистрация:
    19 ноя 2011
    Сообщения:
    8
    Здравствуйте,
    Меня тоже очень волнует этот вопрос, может кто знает ответ ? :)
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Обязательное условие - столбцы с характеристиками должны быть в конце (после всех остальных столбцов)!
    Прикрепил файл проекта программы (обновитесь до последней версии!). Для открытия файла проекта: меню - файл - загрузить проект.
    Есть еще и другой способ (не через повторяющиеся границы). Смысл в том, чтобы задать границу парсинга для каждой характеристики и выводить их в шаблоне вывода в нужные колонки.
     

    Вложения:

    • fk-shop_de.zip
      Размер файла:
      4,6 КБ
      Просмотров:
      43
  13. torontino

    torontino New Member Пользователи

    Регистрация:
    19 ноя 2011
    Сообщения:
    8
    Наверно тогда я не так задал вопрос...
    Парсинг ведётся в CSV файл.
    У меня такая проблема... хочю спарсить сайт мобильного каталога ( gsm arena com). Но для разних телефонов, количество полей характеристик, разное. И когда пробую спарсить, поля которих неспарсило (они какбы пустые), "они" заменяются на следующие, которые удачно спарсились.
     
    Последнее редактирование: 19 ноя 2011
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Меню - файл - загрузить проект (только свой сохраните сначала)
     

    Вложения:

  15. torontino

    torontino New Member Пользователи

    Регистрация:
    19 ноя 2011
    Сообщения:
    8
    да, всё работает. Спасиб, огромное, +1 респекта ;)
     
  16. Pavel79

    Pavel79 New Member Пользователи

    Регистрация:
    20 ноя 2011
    Сообщения:
    2
    Помогите с парсингом сайта Ссылки недоступны для гостей Убил все выходные, но так и не получилось. Буду очень признателен за помощь
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вам весь сайт нужно спарсить или какую-то отдельную рубрику?
     
  18. FANTiK123

    FANTiK123 New Member Пользователи

    Регистрация:
    2 окт 2010
    Сообщения:
    38
    а у меня вот такая проблема
    надо при парсинге в csv файле название картинки в одном столбике прописать три раза с разными окончаниями.
    Картинки парсятся с помощью "Повторяющихся границ".
    У товара может быть любое количество картинок.
    [​IMG]
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Меню - файл - сохранить проект.
    Либо сюда либо на sbfroot@gmail.com
    Надо смотреть на конкретном примере.
     
  20. comp56

    comp56 New Member Пользователи

    Регистрация:
    25 ноя 2011
    Сообщения:
    18
    Помогите с парсингом сайта. Главную страницу парсит а другие не видит. И выдает такую ошибку:
    Хотя через браузер страницы открываются. Проект прикрепил. Буду очень признателен за помощь
     

    Вложения:

    • form.rar
      Размер файла:
      3,9 КБ
      Просмотров:
      8

Поделиться этой страницей