помощь в парсинге определенного сайта

Тема в разделе "Решение различных задач по парсингу", создана пользователем Root, 10 мар 2010.

  1. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Получилось, но есть вопрос: здесь на форуме кто-то говорил о целом списке юзерагентов. Они в программе как работают,- берётся тот, что первый строке? Если список проставить, это хорошо или плохо?
    Этого я не знал. Предположил, так как слышал, как о других программах такое говорили.
     
  2. sah

    sah New Member Пользователи

    Регистрация:
    20 мар 2010
    Сообщения:
    8
    О да! Благодарю, помогло. стояло MSIE8.0
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    При парсинге User Agent'ы будут подставляться по очереди.
     
  4. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Спасибо за ответ, Root. Значит, есть смысл ставить список.
     
  5. Happylist

    Happylist New Member Пользователи

    Регистрация:
    23 фев 2012
    Сообщения:
    2
    Доброго времени суток!
    Очень нужна помощь. Есть такой сайт Ссылки недоступны для гостей. Нужно забрать от туда каталог товаров, для последующей загрузки в joomla. Уже почти неделю бьюсь (это мой первый опыт) и никак не могу вытянуть данные. Ссылки на страницы с описанием товаров получаю, но при попытке настроить границы парсинга на странице где отображается в браузере открывается окно (во вложении).
    Если пощелкать по кодировкам - код страницы отображается, но при парсинге либо товар совсем не попадает, либо в файле одни цифры и ссылка на картинку абсолютно левая.
     

    Вложения:

  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проблема была в том, что там в конце каждой ссылки было по два пробела. Я пробелы удалил поиск-заменой и все дела.
    Прикрепил файл проекта (меню - файл - загрузить проект).
     

    Вложения:

  7. Happylist

    Happylist New Member Пользователи

    Регистрация:
    23 фев 2012
    Сообщения:
    2
    Огромное спасибо. Подкорректировал проект чтобы забрать нужные мне данные и все отлично загрузилось. Параллельно понял как настраивается шаблон вывода (за это отдельный огромнейший РЕСПЕКТ)
     
  8. grin924

    grin924 New Member Пользователи

    Регистрация:
    27 фев 2012
    Сообщения:
    3
    Добрый день! Имеется сайт который нужно спарсить, проблема в том что картинки нормального размера (не миниатюры) на сайте вызываются скриптом, и ни в какую не могу их скачать... Сайт - Ссылки недоступны для гостей
     
  9. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Файл проекта
     

    Вложения:

  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Через Ссылки недоступны для гостей возможно, поскольку в каждой миниатуре есть адрес то переходим на страницу картинки и берем между границами <img id="img" src="/photo/ и конечная граница "> и потом тянем это по составленному линку большую картинку макросом <NIMG>
     
    Последнее редактирование: 28 фев 2012
  11. grin924

    grin924 New Member Пользователи

    Регистрация:
    27 фев 2012
    Сообщения:
    3
    Спасибо огромное!
     
  12. 7483456denis

    7483456denis New Member Пользователи

    Регистрация:
    28 фев 2012
    Сообщения:
    1
    хочу пропарсить сайт tinydeal.com или focalprice.com, мне нужен готовый проект. Цена вопроса - за спасибо!
     
  13. Zolders

    Zolders New Member Пользователи

    Регистрация:
    29 фев 2012
    Сообщения:
    11
    Добрый день! Дорогие друзья, помогите решить проблему с сайтом Ссылки недоступны для гостей Два дня пытаюсь! Безрезультатно! Часть ссылок видит, часть нет! Ограничиваю фильтром категории вообще не видит ссылок из категории. Как быть? Заранее спасибо!
     
  14. grin924

    grin924 New Member Пользователи

    Регистрация:
    27 фев 2012
    Сообщения:
    3
    по присланному мне проекту я не понял все равно, как это делается... теперь сайт уже другой.
    Ссылки недоступны для гостей
     
  15. bulshop

    bulshop New Member Пользователи

    Регистрация:
    1 мар 2012
    Сообщения:
    11
    Добрый день, Ссылки недоступны для гостей сайт с которого пытаюсь спарсить контент,
    Ссылки недоступны для гостей -ссылка категории с которой я пытаюсь спарсить товар,
    Ссылки недоступны для гостей -шаблон для ссылки,ссылки с товаром находит НО
    к сожалению товара который не понятно с какой категории и откуда взялся ,и не много его. В чем проблема ? помогите решить пожалуйста.
    Спасибо.Еще если не сложно объясните как парсить контент с tinydeal.com,я смотрю ни мне 1 это будет полезно.
     
  16. Zolders

    Zolders New Member Пользователи

    Регистрация:
    29 фев 2012
    Сообщения:
    11
    Людииииии! Тут кто то есть? Скажите почему у меня не ладится с Ссылки недоступны для гостей
     
  17. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Есть, конечно! Знать бы ещё, что тебе от этого Ссылки недоступны для гостей надо, и что не ладится у тебя с ним? Может быть и сказали бы что-то.
     
  18. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Неправильно ссылки получаешь

    Так тебе dealextreme.com нужен или tinydeal.com? Или и то и другое, и третье?
    Вы бы хоть описание давали,- что надо, что не получается. Кроме всего, не стоит несколько тем создавать по одной задаче. Также, как и не стоит несколько задач в одно сообщение вставлять. Ответил в другой теме вот тут

    Неправильно ссылки получаешь. Настрой правильно получение ссылок, потом уже ищи контент. Пример прилагаю
     

    Вложения:

  19. Zolders

    Zolders New Member Пользователи

    Регистрация:
    29 фев 2012
    Сообщения:
    11
    Значит так! Делаю вроде бы всё правильно, программа вытаскивает приблизительно 180 товаров и всё конец... А их то там около 600 ед. Не видит некоторые категории товаров, хотя их указываю в фильтре... Уверен что программа этот сайт сщелкает, как семечки, а я где то допускаю ошибку! Огромное спасибо что хто то ответил!
     
  20. Zolders

    Zolders New Member Пользователи

    Регистрация:
    29 фев 2012
    Сообщения:
    11
    Во время парсинга, зашел на сайт Ссылки недоступны для гостей, нажимаю на товар - пишит сообщение Forbidden access (Flooding).... Менял количество потоков - не помогает... Гуру! Подскажите!
     

Поделиться этой страницей