НЕ отображается код страницы

Тема в разделе "Решение проблем с использованием программы", создана пользователем Igor_st, 11 июн 2013.

  1. Igor_st

    Igor_st New Member Пользователи

    Регистрация:
    8 фев 2013
    Сообщения:
    46
    Добрый день,

    Не отображается код, когда хочу спарсить _muscles .pp .ua

    Куки передал

    User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0


    __utma=212651272.167546667.1370948762.1370948762.1370948762.1; __utmb=212651272.22.10.1370948762; __utmz=212651272.1370948762.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utmc=212651272

    Правда HttpFox у меня почему то не хочет работать, пришлось вытягивать Firefox LiveHTTPHeaders
     
    Последнее редактирование: 11 июн 2013
  2. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Сейчас... начинаю читать ваши мысли...
    Ой извините наверное у Вас шлем из фольги, не получается к сожалению.:D
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    вчера забыл отписать когда проверял - сайт не отображает код для парсера, ищите альтернативу, тематика ресурса позволяет.
     
  4. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Странно, у меня все отображается если конечно я правильно понял...
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Главная страница открывается, но любая из внутренних страниц
    к примеру _http://muscles.pp.ua/рами-мамду-за-три-дня-до-нью-йорк-про-2013/ не открвается.
     
  6. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Можно попробовать так :) или через ПХП забирать код страницы php скриптом через curl :)

    Ссылки недоступны для гостей

    да уж я знатный извращенец )))
     
    Ana нравится это.
  7. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    т.е. бок на стороне сайта? а как такое может быть? думал, это вина программы.

    сторонний сниффер показывает, что на запрос парсера в адрес клиентского компьютера приходит нормальный (с виду) ответ, со всем необходимым контентом
     
    Последнее редактирование: 12 июн 2013
  8. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    на странице имелись недопустимые символы, смесь из 2-х кодировок, об которую спотыкалась программа. в последнем фиксе проблема решена, программа научилась перешагивать через ошибки кодировок.
    ссылка на исправленный файл версии 3.9987
    Ссылки недоступны для гостей
     
  9. RuslanLight

    RuslanLight New Member Пользователи

    Регистрация:
    10 ноя 2013
    Сообщения:
    6
    Та же проблема была, ни юзерагенты, ни прокся, ни кукисы не меняли ситуацию - главная и разделы сайта открываются, а вот страницы товара НЕТ. Пробовал и старой(v.3.98) и новой (8.52) версией. Так что проблема в программе насущна до сих пор.
    Благо оказался под рукой программист знакомый, который решил проблему загрузкой страницы-донора через пхп на странице своего сайта, способом указанным alamina.moon
    Кто не силен в программировании код для такой страницы в приложении.
    Парсить контент тогда надо будет просто пристановкой к улрам сайта донора приставки с адресом пхп страницы, например:
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    и тд...

    PS. последние 4 строчки нужны для загрузки картинок с сайта донора (SITE-DONOR.ru - сайт донор, меняем на свой).
     

    Вложения:

    • php_&_curl.txt
      Размер файла:
      1,7 КБ
      Просмотров:
      52
  10. Аргумент

    Аргумент New Member Пользователи

    Регистрация:
    19 ноя 2013
    Сообщения:
    1
    Сайт leboutique точка ком, такая же проблема - не отображается исходный код в парсере. Решения представленные на форуме не помогают.
     
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Верхнее меню:
    Настройка - Опции программы - отметить "Clever Internet Suite"

    Это в большинстве случаев помогает для отображения кода при выделении границ и т.д.
     
  12. warpes

    warpes New Member Пользователи

    Регистрация:
    12 дек 2012
    Сообщения:
    5
    Спасибо, у меня наоборот надо было переключить с INDY на "Clever Internet Suite" и все заработало.
     
  13. pagemaster

    pagemaster New Member Пользователи

    Регистрация:
    15 янв 2015
    Сообщения:
    43
    большая точка вместо исходного кода

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Была проблема с тем, что страницы сайта при указании границ парсинга открывались в браузере, а исходного кода не было, вместо него была жирная точка.
    В общем помог ваш совет, пользуюсь старой версией программы... только кодировку файла с вашим скриптом стоит сменить, так как выводит кубики.
     
  14. pagemaster

    pagemaster New Member Пользователи

    Регистрация:
    15 янв 2015
    Сообщения:
    43
    Правда теперь возникла проблема со скриптом, который всю постраничную навигацию возвращает как первую страницу, то есть вместо:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    и так со всеми разделами...
    есть у кого то идеи в чем проблема?
     
  15. pagemaster

    pagemaster New Member Пользователи

    Регистрация:
    15 янв 2015
    Сообщения:
    43
    думал проблема в юрлах, так и оказалось, метод GET передавал все до первого знака &, я это пофиксил и юрлы стали полными, но сайт-донор все-равно отдает одну и ту же первую страницу...
    Может ли быть проблема в том, что он палит что это скрипт? Хотя в скрипте ведь прописана вся инфа о юзерагенте и он создает куки...
     

Поделиться этой страницей