При парсинге twitter.com. WEBapp Не грузит страницу целиком. Требуется помощь.

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем iam9ripe, 12 июл 2022.

  1. iam9ripe

    iam9ripe New Member Пользователи

    Регистрация:
    12 май 2022
    Сообщения:
    21
    Город:
    Москва
    Добрый день!
    Есть задача спарсить все твиты одного аккаунта из twitter.com.
    При передачи авторизационной куки и хедеров WEBapp, грузит страницу не полностью да еще и с ошибкой Javascript не включен/не поддерживается.
    Хотя тут же в обработке границ парсинга при передачи в браузер контента хедеров и куки все грузиться.

    Перепробовал все библиотеки, толку 0. Бьюсь вторую неделю, ничего не могу поделать. Даже не понимаю куда копать дальше.
    Screenshot_4 - это то как все это видит firefox(mozila).
    Screenshot_1 - это то как видит WEBApp.
    Прошу помощи.
    Возможно даже за деньги.
     

    Вложения:

  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    874
    Здравствуйте
    Файла проекта - пустой

    Какой формат сохранения твитов (есть пример?):
    - только текст
    - html
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    CD нормально парсит twitter, проверил сейчас и там весь код твитов и тд.
     
  4. iam9ripe

    iam9ripe New Member Пользователи

    Регистрация:
    12 май 2022
    Сообщения:
    21
    Город:
    Москва
    Да формат Вывода не Важен, я не могу получить HTML см картинки.
    Screenshot_1 - то, что получаю в WEBAPP
    Screenshot_4 - то что должен получить.
     
    Последнее редактирование: 12 июл 2022
  5. iam9ripe

    iam9ripe New Member Пользователи

    Регистрация:
    12 май 2022
    Сообщения:
    21
    Город:
    Москва
    Блин в упор в WEBApp не показывает.
     
  6. iam9ripe

    iam9ripe New Member Пользователи

    Регистрация:
    12 май 2022
    Сообщения:
    21
    Город:
    Москва
    А под каким VPN или прокси заходите, может в этом дело ?
     
  7. iam9ripe

    iam9ripe New Member Пользователи

    Регистрация:
    12 май 2022
    Сообщения:
    21
    Город:
    Москва
    Вот скриншот из парсинга границ.
    в окне парсинга ошибка, в браузере внизу все грузиться.
    Я добавил скриншоты, для понимания, я уже прокси и VPN и чего только не перепробывал.
    Определяет он что у меня отключен Javascript скриншот №4, и как он грузиться в WEBApp скриншот 5
    Вот как быть?
    Замена библиотеки CIS или WIN роли не играет, замена CEF на IE тоже не играет. Что делать как спарсить весь твит?
    Или если у кого-то открыватеся, может мне кто то спарсить за деньги весь твит в один файл в html, я его потом сам распаршу. так 111 тыс записей, ну или вырезать повторяющимеся границами Div-чики в которых все твиты. ( хотя лучше конечно помочь понять почему у меня твит не грузиться)
    В общем Хелп Ми Плиз!
    Может Кто то из Админов или гуру может, что то подсказать ?
     

    Вложения:

    Последнее редактирование: 12 июл 2022
  8. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    874
    Так может пора объявить ценовое предложение !?
     
  9. iam9ripe

    iam9ripe New Member Пользователи

    Регистрация:
    12 май 2022
    Сообщения:
    21
    Город:
    Москва
    А в этой рубрике, это разрешено?
    Я готов, дайте контакты я объявлю.
     
  10. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    874
    Здесь пишите
     
  11. iam9ripe

    iam9ripe New Member Пользователи

    Регистрация:
    12 май 2022
    Сообщения:
    21
    Город:
    Москва

Поделиться этой страницей