Парсинг из Заголовок Content-Disposition

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем kravchuk, 3 фев 2014.

  1. kravchuk

    kravchuk New Member Пользователи

    Регистрация:
    9 янв 2014
    Сообщения:
    14
    Добрый день.

    Столкнулся со следующей проблемой.

    Есть страница на php, к примеру, /download.php?id=111, при заходе на эту страницу через браузер начинается автоматическое скачивание файла. Если попытаться установить границы в CD то так же начинается скачивание файла, при отмене происходит редирект на стартовую страницу сайта.

    На странице download.php присутствует заголовок Content-Disposition:attachment; filename="name.avi". Именно на name.avi нужно получить ссылку, чтобы потом его скачать при помощи скрипта.

    Может ли кто-то подсказать как это делать, или где посмотреть/почитать.

    P.S. Выше приведен абстрактный пример страницы и нужного файла, если нужна конкретика, приведу :)
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Если привели абстрактный пример, вот Вам абстрактный ответ.
    За загрузку файла отвечает скорее всего JS при загрузке страницы, Удалите блок JS глобальной поиск|замена, должно помочь.
     
  3. kravchuk

    kravchuk New Member Пользователи

    Регистрация:
    9 янв 2014
    Сообщения:
    14
    Возможно это сработает, только в 9 версии CD не могу найти глобальный поиск|замена, если делать поиск замену в шаблоне, то он редактирует страницу, после редиректа. Можно ли еще каким то способом отключить редирект?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ctrl+h - галочка "обрабатывать редиректы".
    Но когда вы редирект отключите, то страница не загрузится)
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Заголовки вы не получите.

    А вот если сделаете так:
    То наверняка получите файл! =)
    Что, наверное, и требуется!
     
  6. kravchuk

    kravchuk New Member Пользователи

    Регистрация:
    9 янв 2014
    Сообщения:
    14
    Желательно получить ссылку, но так тоже подошло бы. Такой способ я пробовал с самого начала. Скачивается страница, на которой нет файла.

    У меня есть подозрение, что дело в авторизации. Я побывал авторизоваца через куки, через пост запросы, не выходило. Получилось самым простым способом, через ввод логина и пароля. При настройке границ парсинга, я считаюсь авторизованым, но при предпросмотре результата я не авторизован, и как раз скачивается страница, на которую редиректит не авторизованых пользователей.

    Я думаю с абстракцией пора заканчивать :) Могу ли я вам скинуть данные по сайту, чтобы Вы посмотрели?:angel:
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Авторизоваться нужно как написано тут Ссылки недоступны для гостей ИМЕННО вторым способом, если передадите верные куки, 100% должно авторизоваться, попробуйте для начала.
     
  8. kravchuk

    kravchuk New Member Пользователи

    Регистрация:
    9 янв 2014
    Сообщения:
    14
    Спасибо, это помогло для правильной регистрации. Хотя я уже делал так, и добивался нужного результата, только не понимал, что это нужный результат.:drunk: :smoking:

    Там выводится следующие, если с регистрацией все в порядке, то ссылка и есть файл. Файл текстовый - торрент. Но вот почему то, если его выводить при помощи макроса [DOCSOURCE], то файл выводится не целиком, примерно процентов 30%, я так понимаю, программа доходит до NUL (в кодировке ANSI) и дальше не выводит текст.

    Если делать <DOWNLOADFILE>, то файл сохраняется целиком.

    Мне нужно этот файл сохранить у себя на сервере, поэтому есть пара вопросов.

    1) Можно ли при помощи <DOWNLOADFILE> загрузить файл не на компьютер, а на сервер?
    2) Или можно как то вывести файл целиком, проигнорировав NUL?
     
    Последнее редактирование: 6 фев 2014
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
    Только если отправлять ссылку на файл скирпту и грузить скриптом (если надо, могу сделать макрос, который отправит cookies скрипту). Загрузить на сервер с помощью DOWNLOADFILE нельзя.
    Какую версию программы используете? Можете ли скинуть этот файл, который грузится на 30% в текстовом виде сюда?
    Спасибо!
     
  10. kravchuk

    kravchuk New Member Пользователи

    Регистрация:
    9 янв 2014
    Сообщения:
    14
    Версия программы последняя. Макрос с куками будет полезным, я думаю.

    Полный файл в аттаче. Расширение заменено, с .torrent

    А вот данные, которые выводит программа.
    Код:
     d8:announce66:http://newstudio.tv:2710/0000fcde4e5a7bb6b8355104343f38ad/announce18:azureus_propertiesd17:dht_backup_enablei0ee7:comment41:http://newstudio.tv/viewtopic.php?p=4062510:created by13:uTorrent/204013:creation datei1391629030e8:encoding5:UTF-84:infod6:lengthi576819200e4:name51:Person.of.Interest.s03e14.WEBDLRip.NewStudio.TV.avi12:piece lengthi1048576e6:pieces11020:;SС‰s‡Э*ms°лрщкx"ѓбЌк7nё9СцЦ±ЗVпФ*ћиЇмгS&сsdГLvъ]Хш<WҐ0-
    |ґ"d&IґИва‚›Д‹]	BэCPЬgfЬЬе~Лћ<КFwшю	;CVЧ,€wўцuўњићъАr{¶5Wьіk‰MI«§µьеЗ9ПҐ`-ФЉфЉ;mџz jљ”©яAПљS–p`ЃЄ6Ї~тaьпДїАдљз¤ҐБkm†®љѓ¶.IDҐZП'QтЃ9Ѓ/<„‹O$л/ФisZ2є”Jё”ѕ^X№\ѕ)ИЖg+ІћЭЬqeУмUНбл€W®x¦ЯRtЈ=]*>rґЃґњђO‰дD'ѓRо"g%ї‹пЪїЂ$6‰ftгСыќ4ку¦њ}^OЭVх©›Э8@*Жzё&Ў§ј‚ьЦ¬НяуzvХ*пtAH/е\"??Й¤2РЂ¶Ю$sEџPh„©x|M”А*¤ѓС#h¶}©p”|"m°:Џ/зщЧMО즴Ґ8 уVХhГч@ц2u+ВeЎИдЉt–"*Г3‚Ч-aH)К/ЊФбзiђ“Oп…UЧ1ѕ‘!фоК„Рў$‹Е+з
    ВНLЕЋЉбпЈм+иЈOы5s2\ГM¬ѕДz§•>0DLµ,wпќ¤ъЙх}БтГhаFЪ•“Ђµњу¬uј[Шґ†Љрд`hШ€»1wМ8Zс*„П—*СтХЋвt“®v-Зј¬ю?оЂI)0ЁUdг0эЎYC/’Fgєщc–‡Яр,кbэ*ыу!TЕTЗ##uКudнйCl±m’@fљcЭЌE|‰O™cЮ+Б<‹ь°хdЖ?7B!SсСмmж#‡ҐЃ
    уzy9^‹ЁVЛЦSK-hdГxR+”°"зВ)nP¦АжНЧDЊ*®Яџ+(o;e»€O,ю¶Q>ФКK>Yт±тJ{GЃЏ&!Є`>єКAш&¤оЗ}ШFљР*ЬљMИнН®«IГП3с45]8яъY(ћ\Јv'‰уѕнўЧcѕРіZлE¦Эѕ'ЗМu¬^Го„љоkМЎg1иѕ—=R!R‹ҐъZ•:ъl!zY9ЫЩеЩ3б2}ЎEЈћЫс0鈥в[е°¶ҐўяgїЎ“*(xћ>)}cкЅЈЅПqC€)~‚лQИю]OЗ2”/<FџХ?qх)wc&kєІПGnіWN”l›ᆂь6
    wФBM#_л]KzУM6Н•TзЄ*;Q»)’Г©ьeзњЇLbz!~<хЈf‘‰¤й
    VѓЁu?©мҐШЯ4№аe3CO*Ђ:K@цЁЛh•хХХЃаNБцЬ,UгП
    7OkSNјЌOУдHЫT1/*JДЋИ"оэVб*у›RеИоаХцyіKhy?QгБнј~їю™—hEъ-3XUh3„ЎdІБ#–SKКєб,WУяЉЪ ъп\д‚?uF¤PzЏcI~‹n.Б€^щ^Kк6dчГ€ь?ЬЂіР‹N[КпПuHъЩђi~јЋRKЉҐ»h`*л¦ч’}б.GНЫZFєW …5
    –Єй?	цєуМjЎoЪ(еI;ZД0·m»qPaЭp\1ktЂЛнќ=Ї—„|qr С њ	1U*
    юpЙ’qh?ѓ7,E№Ь°{Шv+‘µ&m–у`Є2ГрSC'б[Э[њdr’EYб*+KяR+'Еї•ЖЩИБџx»•#ЖРF,"”µь@+Б?гxмћќu±—›ыІ‡.¬Jx$¤Х[\H!sќИXЂ—§рюgW>J§+КВ&
    р6=»тЁ!Й}[ЛuЩkТ3%њCж6?џ),ѕ)»Ѕц‡ncjЖЖJђ€¶ыPЕH]эП*Uйїcї5F[~^ІчЅµ»+}–M¶«‡Еудѓ†jЭNE)K^Ћ`‹[іm‹0nэЈу*Уn№‰<J9oи о…нKµъ.’Uу*Гйёг
    CМІ*з
    Mw8бc:w№щњт“ЈЦЏi™hИ•щ8‡ыУюbўр›№ђБNї ¶]`ы«оЄҐh8Ѕцкeђ$…ДНзtCТч‚і2©‰GЦ±њЦяэф;_uu©љ’ЉUg}п	0=шЏю~ВУb¬9	Ъл›aол 8лнP—уб4me'j§іь)юgїа†mщЬДХцйGЌхН]Ј›ьЗ©Юq\цф©ХПуЂ*—EK,IЗЊџ*Р|Ѓ1їеК„fСznШѓf:¤f,чфџh¬€_C^†9И?‚џ$…°•Л`Жb~nаPЧжЌќ;е?dЎДvхq3tу§њА—r€џў°«Є+rpћсНкrГOБFН‚uПьW§Дcфю–ВЙPbs0џ«жЎс+™коmђym
    оmгRMyкйU^љ6b(С66ЉTЬ<Lо={)«m¤]iяѓ*MbЌїUvс·(З7†є¶	YФ?ІЃn5L”вt+ҐЃ
    :н*UfЌJРз5“«ј†Dї
    µЦ#QZїY›S,U;ЂХ§_эгЈxNvУ>”Г™@!оnrrk‰ ›`SЄРe—oЃ/а‡йI;GzПE»У虬xЩЯИэќОM¦Њњ‡ї¬Eщ«Ы*JэzЌ,‹Н-8;,ЯмCzjѕў?UЧ…‘•*¤пЗњќґўІqH.уЂ°…“XГэёЎВщЁбЎЬ4’ілН‡»тё‘хO)3.tУ(ћ™яъђ7Zэ^ Ъn<Wи3±*zЂЛ‹ЃEш
    KъщУЖЭёИНК„‚љ~Pca)(*“ъќѓітяjТo+!Wsi"{QЕ'⴦*Rў	SЈѕIi-–&$±‘ЉЪ?“й±f*X?¤а&ЂПіхМіsИђµЧц·ќ-¦ї*Ш¶”вЕѕАUGeцзYdѕFж*_дУ/FeH&кf›хў±€aЈ7БњЮЙG*ЋNЪєzr¬#югБ®q/=П№ўЂsNљі$\"л„МP°нOz'‘№ДP†Њл 5+aуҐл піМ®хЛSWі\в.НOd,кЇt]ѓ¦8Р§Ш6ЬDz~рЩ{к°уI0жЙў¤$CЌђn»s‡Q¤щжHYХDрШВјzeЅ§й0Цѕ“ХѕєеЙ[Ч&†ђHЩЂyNЮЂ7†Ч:швцУ№F]…уz¦"ЎТIс’wў"ГМмnZЬч№7ЙщЃгч;мЈ#„љҐyy“±ЌgХr9‹“ВVэnR:Уoі\вВ™?aN1„wДпВђЛвЇA’Uh±MЂЁ#&h-Ѕ†nЮ™Ш*·з„КЁл¬о=iї)і<gw>!Д’µjњўsjЦ}(g(µB	s)¤+8Ц1Д*ЧкЬЉЋyЇE”ю¤Б:(y‡Йл*ZЯ…RзаM2льш§ЖуҐЕТ?uбЯ~µ†к¬џТQ8*м\ЦыЌЊ¤Ђ©ЇQtрNжИШeґqҐ[aѓаИ›фт»CЙ
    ШЩ›Т¤YnЂСXЌюYзDЗѕgI-rlj«рcШштYb[F°оR?°ф–Њбђўwб|¦якwнв\R·@_|vж†йzфи<*<наМІ§“?X2
    Б“r=ўeєуїqz»2ЃЫЙ^KњM‰Ѓ&-MЏ	в: W ш
    !‘-Ї1"\)uЪњ
    dѓz—г#Уа,ў™ЖжYlпчШ‹BЁщ»Тµ;°?
    Ц¦\У	г-)s,4f¦«оВџSР7pѓ>$n"Ј’llа’-Ї7Й}®хњ|)nСЯ‹Ґs’ы–,ўFkј1fjцыguУ•ђЏН†Ц?ZZ<тЂџ·NычЖЃrіпЧа Jт•uлЧLG:ЯжbК,[Ѓґє|ВПRиMщJїМ°н5‹;”gWсzќ«Хyqл*тJмTя"“4-‘џЩУJuВ
    
     

    Вложения:

    • filename.txt
      Размер файла:
      11,2 КБ
      Просмотров:
      3
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо.
    Напишите, пожалуйста мне в Skype, потестировать дам.
     
  12. kravchuk

    kravchuk New Member Пользователи

    Регистрация:
    9 янв 2014
    Сообщения:
    14
    В продолжение темы :), столкнулся еще с одной неприятностью. Файл, который выводится программой, делает не правильный перенос строк. Возможно ли как то это исправить?
     
  13. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Телепатия сегодня не работает, пример приведите. желательно из txt вида, где есть теги.
     
  14. kravchuk

    kravchuk New Member Пользователи

    Регистрация:
    9 янв 2014
    Сообщения:
    14
    Думаю телепатией не обязательно обладать, чтобы перейти на страницу назад и найти все файлы, достаточно прочитать весь топик целиком, хотя я могу ошибаться.
     
  15. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    [ONELINE:<br>] - есть макрос для "правильности переноса строк"
    [REPLACE(re:([\r\n\t]{1,})| )] ... [/REPLACE] - выпрямление строки регулярным выражением
     
  16. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Если Вы считаете, что мы это ОБЯЗАНЫ делать, тогда простите, я был неправ. Топик я читал.
    Значит мы должны угадать где в файле у ВАС
    Если Вы задаете вопрос, будьте добры изложить его более детально. :clock:
    Спасибо за понимание. извините если кого обидел.
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    EveryBody calm down... =)
    Про перенос строк я тоже как-то не очень хорошо понял. Что с ним не так? Простите...
     
  18. kravchuk

    kravchuk New Member Пользователи

    Регистрация:
    9 янв 2014
    Сообщения:
    14
    я это попробовал с самого начала, не помогает. У меня есть подозрение, что программа не корректно реагирует на какие то символы, то делая лишние переносы, то удаляя символы, типа NUL. ниже пример полученного года программой и исходный. В итоге строк получается на 13 меньше, а файл сам весит больше.

    А подскажите как использовать replace для нескольких поиск-замен? так?
    Код:
    [REPLACE(re:([\r\n\t]{1,})| {break}re:([\0]|nol))] ... [/REPLACE]
    Полученный программой (9 строк)
    Код:
    d8:announce66:http://site.tv:2710/0000fcde4e5a7bb6b8355104343f38ad/announce18:azureus_propertiesd17:dht_backup_enablei0ee7:comment41:http://site.tv/viewtopic.php?p=4062510:created by13:uTorrent/204013:creation datei1391629030e8:encoding5:UTF-84:infod6:lengthi576819200e4:name51:Person.of.Interest.s03e14.WEBDLRip.TV.avi12:piece lengthi1048576e6:pieces11020:;SС‰s‡Э*ms°лрщкx""ѓбЌк7nё9СцЦ±ЗVпФ*ћиЇмгS&сsdГLvъ]Хш<WҐ0-
    |ґ""d&IґИва‚›Д‹]	BэCPЬgfЬЬе~Лћ<КFwшю	;CVЧ,€wўцuўњићъАr{¶5Wьіk‰MI«§µьеЗ9ПҐ`-ФЉфЉ;mџz jљ”©яAПљS–p`ЃЄ6Ї~тaьпДїАдљз¤ҐБkm†®љѓ¶.IDҐZП'QтЃ9Ѓ/<„‹O$л/ФisZ2є”Jё”ѕ^X№\ѕ)ИЖg+ІћЭЬqeУмUНбл€W®x¦ЯRtЈ=]*>rґЃґњђO‰дD'ѓRо""g%ї‹пЪїЂ$6‰ftгСыќ4ку¦њ}^OЭVх©›Э8@*Жzё&Ў§ј‚ьЦ¬НяуzvХ*пtAH/е\""??Й¤2РЂ¶Ю$sEџPh„©x|M”А*¤ѓС#h¶}©p”|""m°:Џ/зщЧMО즴Ґ8 уVХhГч@ц2u+ВeЎИдЉt–""*Г3‚Ч-aH)К/ЊФбзiђ“Oп…UЧ1ѕ‘!фоК„Рў$‹Е+з
    ВНLЕЋЉбпЈм+иЈOы5s2\ГM¬ѕДz§•>0DLµ,wпќ¤ъЙх}БтГhаFЪ•“Ђµњу¬uј[Шґ†Љрд`hШ€»1wМ8Zс*„П—*СтХЋвt“®v-Зј¬ю?оЂI)0ЁUdг0эЎYC/’Fgєщc–‡Яр,кbэ*ыу!TЕTЗ##uКudнйCl±m’@fљcЭЌE|‰O™cЮ+Б<‹ь°хdƘ7B!SсСмmж#‡ҐЃ
    уzy9^‹ЁVЛЦSK-hdГxR+”°""зВ)nP¦АжНЧDЊ*®Яџ+(o;e»€O,ю¶Q>ФКK>Yт±тJ{GЃЏ&!Є`>єКAш&¤оЗ}ШFљР*ЬљMИнН®«IГП3с45]8яъY(ћ\Јv'‰уѕнўЧcѕРіZлE¦Эѕ'ЗМu¬^Го„љоkМЎg1иѕ—=R!R‹ҐъZ•:ъl!zY9ЫЩеЩ3б2}ЎEЈћЫс0鈥в[е°¶ҐўяgїЎ“*(xћ>)}cкЅЈЅПqC€)~‚лQИю]OЗ2”/<FџХ˜qх)wc&kєІПGnіWN”l›б†‚ь6
    wФBM#_л]KzУM6Н•TзЄ*;Q»)’Г©ьeзњЇLbz!~<хЈf‘‰¤й
    VѓЁu?©мҐШЯ4№аe3CO*Ђ:K@цЁЛh•хХХЃаNБцЬ,UгП
    7OkSNјЌOУдHЫT1/*JДЋИ""оэVб*у›RеИоаХцyіKhy˜QгБнј~їю™—hEъ-3XUh3„ЎdІБ#–SKКєб,WУяЉЪ ъп\д‚?uF¤PzЏcI~‹n.Б€^щ^Kк6dчГ€ь?ЬЂіР‹N[КпПuHъЩђi~јЋRKЉҐ»h`*л¦ч’}б.GНЫZFєW …5
    –Єй?	цєуМjЎoЪ(еI;ZД0·m»qPaЭp\1ktЂЛнќ=Ї—„|qr С њ	1U*
    юpЙ’qh˜ѓ7,E№Ь°{Шv+‘µ&m–у`Є2ГрSC'б[Э[њdr’EYб*+KяR+'Еї•ЖЩИБџx»•#ЖРF,""”µь@+Б˜гxмћќu±—›ыІ‡.¬Jx$¤Х[\H!sќИXЂ—§рюgW>J§+КВ&
    
    Исходный код (в аттаче)

    И если сравнить полученный и исходный код, то он отличается.
     

    Вложения:

    • filename.txt
      Размер файла:
      11,2 КБ
      Просмотров:
      1
    Последнее редактирование: 7 фев 2014
  19. kravchuk

    kravchuk New Member Пользователи

    Регистрация:
    9 янв 2014
    Сообщения:
    14
    Все потому же примеру, что обсуждался выше, в том же проекте, при парсинге торрент файла. Делаются лишние переносы, и удаляются некоторые символы, это как я понимаю.
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Грузите файл либо макросом DOWNLOADFILE (который для этого предназначен). Либо, если вам надо лить его на сервер, отправляйте скрипту ссылку на файл и куки (куки теперь можно отправлять):
    Пусть скрипт сам скачает файл и положит его на сервер.

    С уважением к вам, Сергей.
     

Поделиться этой страницей