m_facebook_com - Запрос post и парсинг полученых данных

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем napserious, 20 окт 2015.

  1. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Добрый день всем :rock:
    с данным приложением еще новечек,
    но интересует если реализуема данная задача.
    Что имеется:
    - База номеров телефоном зарегистрованых на моем сайте (только номера)
    Что должен делать парсер:
    Парсить аватарку с фэйсбука, имея при этом только введеный в форму обратной связи телефон.

    - Открывать файл где находятся номера.
    Пример файла до:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    вбивать туда номер, и парсить код картинки аватарки,
    далее добавлять его обратно в файлик.

    Хотя бы несколько советов, в POST я неочень силен.
    База зарегестрированых пользователей у меня 50к примерно(только пользователи которые зарегестрированы на фэйсбуке, тк сайт это некоторый дополнительный функционал для фэйсбука).
    Кто поможет советами ?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Что вы подразумеваете под кодом картинки? Нужно сохранить саму аватарку?
     
  3. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Добрый день, спасибо большое что заинтересовались моей проблемой ! :)
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    вот это ссылка той картинки, данная ссылка постоянная,
    мне нужно в моем файле сохранить ссылку на картинку и всё.
    Вот описание как и зачем:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    На данный момент мне надо хотя бы понять как правильно отпарсить просто ссылку на картинку. Но не разбираюсь как, не откажусь от хороших советов, гайды читал почти все, не могу разобраться всёравно :/
     
  4. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Буду рад любым подсказкам, любым советам, знать бы хотя бы с чего начать.
    Обычные сайты парсил до этого, интернет магазины и тому подобное, но вот с такой задачкой уже 3-ю неделю мучаюсь. :[
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Сейчас настраивал это дело, буквально через 10 запросов к сайту капча вылетела. Стоит ли оно того, чтобы еще и антикапчу подключать?
     
  6. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Я когда это делал через TOR капча никогда не выскакивала.
    Может потому что куки чистелись сами.
    Я раньше такое делал через iMacros + автообновление IP,
    но это долго и не всё полу-мануально.
    Но хочу както очень автоматизировать это дело, да бы спарсить аватарку для всех контактов которые есть на данный момен.
    Сергей, а вам удалось получить хотя бы ответ на данные запросы ?
     
  7. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Что мы имеете ввиду под антикаптчу?
    Способ подбора капчи или способ да бы она не выскакивала ?
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Да, удалось. К вечеру постараюсь показать решение.
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Набросал ан скорую руку вам проект по FB.

    Обратите внимание на ссылку:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Вам нужно сгенерировать список таких ссылок используя соответствующий инструмент. Телефоны добавляйте в столбик в окно от кнопки {key}.

    При парсинге то, что стоит после ##[P]: будет отправляться в WBApp и вставляться в поле поиска FB.

    В ответ должна приходить WEB-страница с желаемой ссылкой на аватарку. Надеюсь, это вам хоть как-то поможет.

    С уважением к вам, Сергей...
     

    Вложения:

  10. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Огромное спасибо!
    Буду разбирать данный проект и надеюсь дойду до финального результата !
     
  11. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Сергей, подскажите пожалуйста сколько потоков и какое время ожидание подошло бы для этого? Что бы не выскакивала капча.
    У вас всё время выскакивает капча на 10 запросах ?
    Использование AvgOR помогло бы ?
    Что бы можно было сделать 50к запросов, разных номеров, пусть даже если задержка большая.
     
  12. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Помогает AntiGate разгадывать captch-у FB?
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Должен помогать! Вот тут есть инструкция по использованию Antigate Ссылки недоступны для гостей

    Пробуйте использовать 1 поток и подбирать паузу между запросами (я не подбирал для этого сайта).

    С уважением к вам, Сергей.
     
  14. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Добрый день,
    снова вернулься к данной задаче,
    единственное что не получается,
    это сделать вот данный туториал:
    Ссылки недоступны для гостей,
    остановку при появление капчи,
    всё хорошо парсится, но вот остановку при появление капчи он не делает....
    как решить данную проблему ? :/
    Вроде [CHECKENTRY] правильно прописал..
    Прикладываю проект
     

    Вложения:

    • facebook.cdp
      Размер файла:
      134,7 КБ
      Просмотров:
      61
  15. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Checkentry и остановку парсинга я поставил для того что бы при появление капчи проект ставился на паузу и я мог сделать в AdvOR новую личность
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
     

    Вложения:

  17. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Большое спасибо!
    Очень рад что вы всегда отзываетесь на помошь!
     
  18. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    А как сделать что бы документ не сохранялся если данные пустые?
    ть если он их не нашел всетаки, без использования функции Обязательно
     
  19. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Я еще думал,
    при работе программы через AdvOr,
    можно ли какимто оброзом сделать след.:
    CHECKENTRY увидела капчу и вызывает WAITFORME, и далее вместо того что бы ждать меня в AdvOr нажимается New Identity, и запускается парсинг дальше.
    Или я уже замечтался ? :)
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Есть два макроса [CHECKENTRY]
    Они выполняются в разное время. Один из них используйте для проверки (пустая граница или нет), второй используйте для вызова [WAITFORME]. Макросы могут быть вложены друг в друга.
     

Поделиться этой страницей