Твиты из аккаунта Twitter: как парсить?

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем AndreyKAZ, 2 мар 2015.

  1. AndreyKAZ

    AndreyKAZ New Member Пользователи

    Регистрация:
    15 июл 2014
    Сообщения:
    4
    Привет всем!
    Собсно, сабж!
    Есть действенный способ спарсить 100к+ твитов с одного или нескольких чужик акков?
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Интересно при прокрутке ленты твитов у аккаунтов есть лимиты или нет?
    Поскольку 100к это немало если учитывать твитерские ограничения(вдруг они есть).
    Задача ваша решаема:
    1. Установить аддон iMacros для Mozilla, освоить чтоб настроить на клик по кнопке и сохранить ссылку в csv, запускать на много циклов повторных.
    Код:
    VERSION BUILD=8890130 RECORDER=FX
    TAB T=1
    SET !EXTRACT {{!URLCURRENT}}
    SAVEAS TYPE=EXTRACT FOLDER=C:\twitter FILE=url.txt
    TAB T=1
    TAG POS=1 TYPE=A ATTR=TXT:Загрузить<SP>больше<SP>твитов
    Делается это при выключенном яваскрипт с указанным юзерагентом смартфона, на странице мобильной версии.

    2. Готовые ссылки на страницы твитов распарсивать через повторяющиеся границы в Content Downloader

    Попробовал, не смотря на авторизацию всеравно не более 200 с чемто страниц, итого с аккаунта имеем 2к твитов - мало :laugh:
     
    Последнее редактирование: 2 мар 2015
  3. AndreyKAZ

    AndreyKAZ New Member Пользователи

    Регистрация:
    15 июл 2014
    Сообщения:
    4
    Спасибо за решение! Очень интересное, нужно попробовать. Но, думаю, лимиты все запортачат(
    А я уже подумывал со стороны поисковых систем зайти - вытащить все проиндексированные страницы акка в ПС и там в выдаче их парсить...
    При условии, что он проиндексирован.
     

Поделиться этой страницей