Парсинг текста из json файлов

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Dandrei, 4 ноя 2017.

Метки:
  1. Dandrei

    Dandrei Member Пользователи

    Регистрация:
    4 ноя 2017
    Сообщения:
    41
    Добрый день.
    Не могу даже начать настраивать проект для парсинга информации, которая содержится в json
    ссылка имеет вид:
    Ссылки недоступны для гостей

    При попытке настроить границы парсинга программа не загружает ничего а только предлагает сохранить json-файл.
    Ситуация осложнена тем, что на сайте установлена защита и через каждые 5 - 6 загрузок требуется ввод капчи.
    Помогите, с чего начать и как настроить программу, чтобы браузер подгружал ссылку.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Код загружается.

    2017-11-04_17-42-04.png
     

    Вложения:

  3. Dandrei

    Dandrei Member Пользователи

    Регистрация:
    4 ноя 2017
    Сообщения:
    41
    Т.е. можно игнорировать такое окно:
    json.jpg

    Значит нужно решать вопрос с капчей, т.к. сам код файла такой должен быть:
    json-2.jpg
     
  4. Dandrei

    Dandrei Member Пользователи

    Регистрация:
    4 ноя 2017
    Сообщения:
    41
    Да ведь и браузер CD не работает при открытии по таким ссылкам...
     
  5. Dandrei

    Dandrei Member Пользователи

    Регистрация:
    4 ноя 2017
    Сообщения:
    41
  6. Dandrei

    Dandrei Member Пользователи

    Регистрация:
    4 ноя 2017
    Сообщения:
    41
    Но проблема остается - код загружается с требованием о вводе капчи. А для того чтобы настроить ее ввод браузер CD не подгружает окно а предлагает сохранить отдельно json-файл.
    Скажите, вообще возможно парсить текст с приведенной ссылки?
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вы привели ссылку

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Я открыл ее в Firefox и вижу код каптчи:
    2017-11-07_23-56-20.png

    Ну что я могу сказать, прикольно, здорово.

    Нет, чтобы привести адрес страницы (откуда собирать данные) и указать, какие данные собирать, также указать логин с паролем (если требуется).

    По голой ссылке на скрипт я вам ничем не помогу, что в принципе логично.
     
  8. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Всем добрый день.
    Тема старая но все равно не могу найти решения, подскажите плиз.

    Как можно настроить CD или Internet Explorer так, чтобы диалоговое окно не возникало или закрывалось автоматически, так как весь экран в них после парсинга в три слоя.

    Делаю GET запрос к Яндексу
    Яндекс отвечает мне JSON ом и этот код загружается в CD, но проблема в том, что INTERNET EXPLORER (не важно через какую библиотеку я паршу) показывает диалоговое окно


    212321.png

    И так для каждого запроса, а их много - и окнами залепит весь экран монитора.

    Я так понимаю, это происходит от того, что получая ответ от яндекса без заголовках о типе контента (могу ошибаться), INTERNET EXPLORER предлагает скачать контент как файл.

    Как можно избавится от этих всплывающих окон? есть у кого идеи (крутил настройки IE , и если не скачивать, то другое окно вылетает - что скачка запрещена в настройках IE).

    Может кто сталкивался ?

    Неохота писать скрипт на PHP с курлом и прочие вещи делать ........ хочется через CD решить.....

    PS: вернул настройки IE по умолчанию, при парсинге больше окно не вылетает! Вылетает только при назначении границ если с отображением браузера и wbapp
     
    Последнее редактирование: 1 апр 2019

Поделиться этой страницей