помощь в парсинге определенного сайта

Тема в разделе "Решение различных задач по парсингу", создана пользователем Root, 10 мар 2010.

  1. Koldi

    Koldi New Member Пользователи

    Регистрация:
    9 янв 2012
    Сообщения:
    3
    Прекрасно, очень благодарен за ответ (я честно говоря расчитывал на ответ типа да возвожно/нет невозможно), можно полюбопытствовать как был определён выделенный участок ссылки http://spb-shop.firma-gamma.ru[/url]/ajax/details_json.php?det[]=1208274382
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Открыл в Firefox страницу которую вы дали (Ссылки недоступны для гостей), запустил плагин Ссылки недоступны для гостей, нажал на кнопку + (развернуть описание товара) и посмотрел в плагине откуда подгрузились данные.
     

    Вложения:

    • 1234567777.png
      1234567777.png
      Размер файла:
      25,2 КБ
      Просмотров:
      12
  3. Fakiresw

    Fakiresw New Member Пользователи

    Регистрация:
    27 дек 2011
    Сообщения:
    24
    Адрес:
    Russia
    Большое спасибо за работу.

    Но сию минуту нет возможности это увидеть.

    Как посмотрю - отпишусь, если вы не возражаете.
    Будет взгляд чайника со стороны.
    И вам, возможно, поможет понять, что и как видит начинающий...
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо!
     
  5. Koldi

    Koldi New Member Пользователи

    Регистрация:
    9 янв 2012
    Сообщения:
    3
    Благодарю очень!
     
  6. endir

    endir New Member Пользователи

    Регистрация:
    11 янв 2012
    Сообщения:
    1
    Есть проблема. хочу спарсить группы вконтакте. Получаю ссылки просто добавлением из браузера. Но когда дохожу до задания границ парсинга каждой группы. получается что открывается совершенно другой браузер который не подходит для вконтакте. что делать?
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    http://forum.sbfactory.ru/showthread.php?t=185
     
  8. gudzon

    gudzon New Member Пользователи

    Регистрация:
    16 янв 2012
    Сообщения:
    1
    МОжно вопрос по такой ситуации, когда необходимое название раздела расположено в меню ... как быть ..как можно это название спарсить.

    пример:
    Нам нужно спарсить название раздела в меню: Рецепты травных сборов
    это название у нас только фигурирует на странице в самом меню и наверху в дескрипшене и в титле встречается еще.. но он там среди текста с названием сайта...

    исходник страницы здесь:
    Ссылки недоступны для гостей
     
  9. Fakiresw

    Fakiresw New Member Пользователи

    Регистрация:
    27 дек 2011
    Сообщения:
    24
    Адрес:
    Russia

    Выбрал время и Пытался посмотреть видео.
    Но оно НЕМОЕ. нет звука.
    И качество картинок желает лучшего...
    Так что, если нет альтернативного, то мне этот урок не пошел в прок.
     
  10. olyx

    olyx New Member Пользователи

    Регистрация:
    18 янв 2012
    Сообщения:
    3
    Здравствуйте. Не программисту все таки трудно разобраться. Помогите запарсить dealextreme.com (китский вариант) или Ссылки недоступны для гостей
    соответственно. Напримере Digital LCD Thermometer , для выхода в csv формате для shopcsm. Колонки csv там:
    Сортировка Код Наименование Загол-ок (title) Подробное описание Краткое описание Цена Старая цена Cклад Фотографии META Keywords META Description Ограничение на минимальный заказ товара (штук) Цвет Производитель
    Спасибо.
     
  11. SKY

    SKY New Member Пользователи

    Регистрация:
    18 янв 2012
    Сообщения:
    5
    Купил вчера утром программу посмотрел кучу видео впринцепе программа понятна стянул несколько не сложных сайтов.

    Незнаю как вы но для моих проектов нужно куча качественных фоток решение есть это сайт знакомств мамба фотки без вотер марок и очень качественные!

    Вопрос и проблемма так как щас там новая защита от копирования контента маленькие фотки парсит без проблем а вот большие фотки не как.

    Не поможете мне да и всем кому нужны качественные фотки.

    Или не возможно?
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте, ничего запредельно сложного в программе нет.
    Посмотрите пожалуйста видео и попробуйте сделать по аналогии Ссылки недоступны для гостей
    Если будут конкретные вопросы, пишите, ответим!
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Насколько я знаю, там ограничение на просмотр анкет, чтоли 100 в сутки. И еще, чтобы загружать большие фото, нужно там залогиниться (вкладка "контент" - кнопка "авторизация/cookies").
    PS: Советую выбрать Мой Мир Мейла ру. Там полно фоток и никаких ограничений ;).
     
  14. SKY

    SKY New Member Пользователи

    Регистрация:
    18 янв 2012
    Сообщения:
    5
    Да фоток море и парсятся они легко щас попробовал не чего сложного.

    Но опять проблемма почти все фотки добавленны без модерации и там одни картинки вместо фоток. Один мусор.

    Помогите кто сможет с мамбой лучше и больше фоток нет не на одном ресурсе я думаю.

    Лучше бы видео или файлом проекта
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    На Мамбе вы замаетесь платить, там платный доступ к просмотру более энного количества анкет... Если не жалко денег, логиньтесь куками в Мамбе и парсите...
    Авторизироваться: кнопка "авторизация/cookies", если не сработает, то возьмите куки из плагина Firefox Ссылки недоступны для гостей

    PS: В Одноклассниках фотки вроде реальные, там попробуйте.
     
  16. SKY

    SKY New Member Пользователи

    Регистрация:
    18 янв 2012
    Сообщения:
    5
    Решил проблемму с фотками парсю с фотостраны и снова проблемма как указать программе чтобы она собирала фотки нужного размера а остальные просто игнорировала например 200 на 200 меня не устраивают а вот 500 на 500 самое то.
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В проводнике после парсинга упорядочить файлы по размеру и удалить маленькие...
     
  18. SKY

    SKY New Member Пользователи

    Регистрация:
    18 янв 2012
    Сообщения:
    5

    ггг вот я балбес
     
  19. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Как побороть rutracker.org?

    Меня интересует rutracker.org. Невозможно никак авторизоваться через программу,- ввожу логин и пароль, требует ввести цифры, и на этом зацикливается, не входит. Хоть методом ПОСТ, хоть введением пароля,- никакой разницы.

    Установил плагин, но непонятно, как этим плагином пользоваться правильно
    Всё сделал как тут сказано,- нашёл строку куки rutracker.org в FireFox (предварительно авторизовавшись), ввёл её в программу (дополнительно, строка куки), и ничего, ноль эффектов, войти невозможно, требует авторизацию. Что делать, как побороть этот орг?

    Удалось войти, но не с помощью данного плагина (с ним так и не понял как пользоваться), однако, легче не стало.
    Захожу в настройки границ парсинга, я видел как авторизовавшийся, тут всё нормально,
    - первую страницу показывает как положено,- код + в браузере содержание
    - но, при переходе на вторую страницу (так, что с 30 на конце и далее) для примера покажу
    в браузере страница отображается как положено, а вот в окне загрузки кода загружается код страницы, которая требует авторизации. Ясное дело, что настроить ничего невозможно.

    То есть любые действия возможны только с нулевой страницей, фактически с той, что открывается без авторизации, а вот с остальными, любые действия становятся невозможными, несмотря на то, что авторизацию в браузере показывает как активная.
     
    Последнее редактирование: 20 янв 2012
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Авторизация ВСЕГДА происходит куками, надо только правильные вставить. Я на Rutracker авторизировался передачей cookies из плагина Firefox уже много раз и все ок. Просто вы не те кукисы передаете...
     

Поделиться этой страницей