не грузит код сайта

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем tremmer, 23 апр 2015.

  1. tremmer

    tremmer New Member Пользователи

    Регистрация:
    30 окт 2014
    Сообщения:
    13
    Доброй ночи.
    Столкнулся с такой проблемой.
    Есть сайт:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    уже при попытке задать границы парсинга появляются проблемы - внизу сам сайт видится нормально, а вверху кода нет вообще.
    Пробовал разные режимы: и INDY, CIS и DOM - ничего.
    Может кто сталкивался с таким?
     
    Последнее редактирование модератором: 23 апр 2015
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    не совсем понятно что именно вы там хотите спарсить, но все же
    нажимаете ctrl+w и поставьте галочку, "во вкладке контент"
    потом пробуйте получить границы, проверял, работает
     
  3. tremmer

    tremmer New Member Пользователи

    Регистрация:
    30 окт 2014
    Сообщения:
    13
    Спасибо, Kreol. Но у меня отображается только header.
    Я так понял, там практически все завязано на скрипты и динамическую подгрузку.
    Собрать надо ссылки на страницы с играми.
    Может тут вообще CD не поможет, только ручной копипаст?
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Смотрите прикрепленный проект.
    И на будущее, старайтесь полностью описывать суть вопроса, что есть и что нужно.
    Спасибо.

    p.s. Загрузите проект и нажмите ctrl+f2 для предпросмотра.
     

    Вложения:

    • g2a_com.cdp
      Размер файла:
      26,6 КБ
      Просмотров:
      12
  5. tremmer

    tremmer New Member Пользователи

    Регистрация:
    30 окт 2014
    Сообщения:
    13
    Извиняюсь за сумбурность)
    Суть вопроса в том, что надо спарсить каталог игр с данного сайта: картинки, описание и прочее... Загвоздка уже на стадии сбора ссылок - их просто из кода не могу взять, т.к. он полностью не отображается. Скрипты или что-то другое просто не дают полного кода сайта. Может его и нет, а основной контент грузится через флеш?
    В вашем проекте так же вижу только header.
    Думаю может через WBApp что-то выйдет, но уже второй день не выходит ничего.
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Ссылки собирать рекомендую через вкладку "ССЫЛКИ"
    Диапазон проставить от json ссылки которую можно было снифером выловить
    Код:
    https://www.g2a.com/lucene/search/filter?jsoncallback=jQuery111001379240529250012_1429790432047&skip=14948%2C22540%2C915%2C5168%2C94%2C676%2C17935%2C20172%2C21213&minPrice=0&maxPrice=1190&cn=&stock=all&event=&platform=0&genre=0&sortOrder=default+desc&start=12&rows=12&_=1429790432050
    Меняется start=12 значение от 0, до ... (методом тыка выясните), шаг по 12.
     
  7. tremmer

    tremmer New Member Пользователи

    Регистрация:
    30 окт 2014
    Сообщения:
    13
    Спасибо, пойду пробовать.
    По результату отпишусь.
     
  8. tremmer

    tremmer New Member Пользователи

    Регистрация:
    30 окт 2014
    Сообщения:
    13
    Возвращаюсь к своей теме.
    Благодоря kagorec ссылки собрать удалось, за что ему огромное спасибо.
    Дальше парсинг после определенных шаманств пошел, НО не качает\сохраняет картинки. При задании границ парсинга они видны (где-то их нету просто), иногда при предпросмотре они могут загрузиться, но это редкость. Пути есть, пробовал уже и так и этак: время ожидания ставил, прокси, юзер-агентов вставил - результат один: в шаблоне вывода имя файла пишет, на диск не сохраняет.
    Может, кто-нибудь что-то посоветовать?
    Проект прилогаю.
    Да, кстати, от версии винды, вернее от версии IE так же много чего зависит, может быть в этом проблема? У меня IE11 win7.
    Заранее спасибо
     

    Вложения:

    • g2a_com.cdp
      Размер файла:
      107,1 КБ
      Просмотров:
      1
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    на многих товарах картинка отсутствует, как вариант искать на другом сайте
    в шаблоне вывода примерно так будет
    Рабочий пример прилогается :)
     

    Вложения:

  10. tremmer

    tremmer New Member Пользователи

    Регистрация:
    30 окт 2014
    Сообщения:
    13
    Огромное спасибо.
    Ход очень интересный и ловкий. Осталось только разобраться в том как он работает))
     

Поделиться этой страницей