Парсинг ati.su

Discussion in 'Решение различных задач по парсингу' started by dmal85_f, Oct 16, 2018.

  1. dmal85_f

    dmal85_f New Member Пользователи

    Joined:
    Mar 23, 2015
    Messages:
    45
    Likes Received:
    2
    Добрый день, просьба помочь с сайтом ati.su 2 день пытаюсь настроить парсинг ссылок на фирмы отсюда Ссылки недоступны для гостей
     
    dmal85_f, Oct 16, 2018
    #1
  2. Kreol

    Kreol Модератор Staff Member Модератор

    Joined:
    Jan 6, 2013
    Messages:
    2,666
    Likes Received:
    596
    что именно у вас не получается*?
    ctrl+h галочка win
    если не помогает галочка контент
     
    Kreol, Oct 16, 2018
    #2
  3. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Likes Received:
    1,422
    Там с пагинацией наверно сложно)
    Собирать можно проставив диапазон, к собранным ид добавить полную ссылку.
    Code:
    http://ati.su/api/rating/getFirmsRating?filter=%7B%22PageNumber%22:1,%22ItemsPerPage%22:20,%22IsReverse%22:0,%22Geo%22:%7B%22text%22:%22%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%22,%22value%22:%220_1%22%7D,%22FirmTypes%22:%5B%5D,%22IsActiveMemberAtiDoc%22:0,%22IsTribunalUser%22:0,%22HasDisplayedAutoparkItems%22:0%7D
     
    Last edited: Oct 17, 2018
    kagorec, Oct 17, 2018
    #3
  4. dmal85_f

    dmal85_f New Member Пользователи

    Joined:
    Mar 23, 2015
    Messages:
    45
    Likes Received:
    2
    В данном случае ничего из этого не помогает, ссылки на страницу фирмы фактически нет, после щелчка открывается окно всплывающее, нужно либо урл открывающейся страницы либо id фирмы
     
    dmal85_f, Oct 17, 2018
    #4
  5. dmal85_f

    dmal85_f New Member Пользователи

    Joined:
    Mar 23, 2015
    Messages:
    45
    Likes Received:
    2
    тут у меня ошибка 500, не могу посмотреть
     
    dmal85_f, Oct 17, 2018
    #5
  6. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Likes Received:
    1,422
    В C.D.?
     
    kagorec, Oct 17, 2018
    #6
  7. masrub

    masrub Well-Known Member Пользователи

    Joined:
    Jun 29, 2018
    Messages:
    250
    Likes Received:
    75
    Прошу помощи, не могу загрузить страницу рейтинга Ссылки недоступны для гостей С перебором все понятно, но вопрос как в CD получить ответ сервера. Данная информация доступна без авторизации.
    На сервер идет запрос методом GET. В сторонней программе я все необходимое спарсил, прописав GET запросом с нужными заголовкам.
    Осталось загадкой какие заголовки/галочки библиотек использовать для загрузки данных с сервера. GET запрос идет такого вида:
    Ссылки недоступны для гостей
    Если в браузере изменить и снова отправить запрос, информация приходит без проблем.
    При использовании CD и библиотек получаю различные ошибки:
    • CIS Программе не удалось загрузить WEB-страницу (The connection to the server is not active)
    • Indy Программе не удалось загрузить WEB-страницу (Error connecting with SSL. Error connecting with SSL. error:1408F10B:SSL routines:SSL3_GET_RECORD:wrong version number)
    • WIN <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN""Ссылки недоступны для гостей">
    <HTML><HEAD><TITLE>Bad Request</TITLE>
    <META HTTP-EQUIV="Content-Type" Content="text/html; charset=us-ascii"></HEAD>
    <BODY><h2>Bad Request - Invalid Header</h2>
    <hr><p>HTTP Error 400. The request has an invalid header name.</p>
    </BODY></HTML>

    Повторюсь что много различного перепробовал, в приложении файл с настройкой. Понимаю что можно использовать WBApp но кол-во потоков в этом случае минимальное.
     

    Attached Files:

    • ati.cdp
      File size:
      39 KB
      Views:
      4
    masrub, Mar 4, 2020
    #7
  8. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Не знаю, как вы пробовали с WIN.

    С WIN загружается.
     

    Attached Files:

    Root, Mar 4, 2020
    #8
  9. masrub

    masrub Well-Known Member Пользователи

    Joined:
    Jun 29, 2018
    Messages:
    250
    Likes Received:
    75
    Что я делаю не так, не пойму... По приложенному Вами проекту аналогичная ошибка.
    Безымянный.png
    Может дело в версии программы? У меня 11.1.1000012
    Использовать библиотеки CIS или INDY не получиться? У WIN скорость потоков ведь низкая, не больше 2?
     
    masrub, Mar 4, 2020
    #9
  10. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Скорее всего.

    Что вам мешает обновить программу?
     
    Root, Mar 4, 2020
    #10
  11. masrub

    masrub Well-Known Member Пользователи

    Joined:
    Jun 29, 2018
    Messages:
    250
    Likes Received:
    75
    Обновил, дело было в версии. Спасибо, возможно ли все же использовать библиотеки CIS или INDY не получиться? У WIN скорость потоков ведь низкая, не больше 2?
     
    masrub, Mar 4, 2020
    #11
  12. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Где вы это прочитали?
     
    Root, Mar 4, 2020
    #12
  13. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Это WBAppIE не рекомендуется использовать более, чем в 2 потока, так как в нем используется Internet Explorer 11.

    Библиотека WIN работает и в 50 потоков.

    Перед настройкой нового проекта всегда нажимайте shift+ctrl+n (чтобы сбросить настройки).

    У вас в проекте на данном сайте не работала библиотека CIS, так как были использованы некорректные настройки.

    Нужно отключить POST и использовать TLS

    2020-03-04_11-03-18.png
     
    Root, Mar 4, 2020
    #13
  14. masrub

    masrub Well-Known Member Пользователи

    Joined:
    Jun 29, 2018
    Messages:
    250
    Likes Received:
    75
    Спасибо Вам за разъяснение!
     
    masrub, Mar 4, 2020
    #14
    Root likes this.
Similar Threads
  1. Grafin

    Парсинг описания

    Grafin, Dec 14, 2018, in forum: Решение различных задач по парсингу
    Replies:
    10
    Views:
    960
    Kreol
    Dec 16, 2018
  2. Grafin

    Парсинг картинок повторяющимися границами

    Grafin, Apr 23, 2019, in forum: Скачивание картинок и файлов
    Replies:
    6
    Views:
    835
    Grafin
    Apr 26, 2019
  3. Grafin

    Парсинг выбранных Бренд/категории с крупного сайта

    Grafin, Jun 24, 2019, in forum: Решение различных задач по парсингу
    Replies:
    7
    Views:
    1,159
    Root
    Jun 25, 2019
  4. svobodin

    Парсинг сайта calend.ru

    svobodin, Aug 7, 2019, in forum: Решения по парсингу популярных сайтов
    Replies:
    11
    Views:
    1,601
    Djahat
    Aug 7, 2019
  5. ergoline

    Парсинг категорий каталога

    ergoline, Aug 13, 2019, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    0
    Views:
    798
    ergoline
    Aug 13, 2019
Loading...

Share This Page