Пустые ячейки в CSV-файле после парсинга

Тема в разделе "Решение проблем с использованием программы", создана пользователем ap2205, 30 мар 2018.

  1. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    874
    сами же написали o_O
    [​IMG]
     
  2. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    88
    Город:
    Москва
    А где изменить этот формат прокси? - в настройках (пробовал менять HTTP, SOCKS4, SOCKS5 и как ROOT посоветовал поставить WIN, и CIS, и INDY пробовал.
    Или это сами прокси не подходят?
    Раньше брал в интернете обычные бесплатные прокси и все работало... Так и продолжает работать на других проектах.
    Извените, но я не вижу то, что видите вы. Если можно тыкните носом где менять настройки или идти за новыми волшебными прокси.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Код:
    логин:пароль@ip:port
    - так указываются прокси с авторизацией по логин/паролю.

    При использовании такого типа авторизации нужно использовать библиотеку CIS.

    Можете их под хайдом выложить (с логин/паролем), проверю.
     
  4. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    874
    Работать не будет ... привязка же по ip
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 9300 постов.**
     
  5. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    88
    Город:
    Москва
    логин:пароль
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 8000 постов.**
    Cписок SOCKS 4/5 прокси серверов с авторизацией по паролю:
     

    Вложения:

  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проверил прокси в Firefox - не работают!

    2018-04-12_01-07-47.png

    Добейтесь, чтобы прокси работали, для начала, в Firefox или другом браузере.
     
  7. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    88
    Город:
    Москва
    Какой выход из моей ситуации? Нужны другие прокси?
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Думаю, что да.

    Или, как вариант, попробуйте задать вопрос продавцу прокси, мол, почему они в браузере не работают.
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если прокси рабочий и привязан к IP (без логин/пароля), библиотека WIN Должна работать с ним без проблем (причем с любым типом прокси).
     
  10. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    88
    Город:
    Москва
    Да, попробовал старым способом... Скачал в интернете бесплатные - нашел какие-то свежие рабочие... из 380 зашли 140.
    Спасибо root и inotoxic, за активное участие в решении моей проблемы.
    Сергей, помогите разобраться еще с одним вопросом.
    Сделали проект для парсинга на другом компьютере, загружаю его у себя - в предпросмотре нет информации в ячейках - Программе не удалось загрузить WEB-страницу (HTTP/1.1 400 Bad Request). На другом компьютере использовалась библиотека Clever Internet Suite (соответственно у меня при загрузке проекта в настройках таже библиотека, прокси). Менял у себя на Indy и Win - появляются все поля кроме фото - их брали по ссылкам мобильной версии сайта (там картинки без водных знаков).
    Почему они не отображаются в таблице?
    В мобильных ссылках при библиотеке Clever Internet Suite не отображается код страницы. На другом компьютере, где настраивали проект все работало.
     
  11. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    88
    Город:
    Москва
    При выборе Indy и Win код страницы в ссылках мобильной версии отображается, но в предпросмотре все-равно пусто.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Нужно смотреть проект.

    Вам рекомендую посмотреть логи в нижней части окна предпросмотра результатов парсинга контента.

    Там есть вся информация.
     
  13. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    88
    Город:
    Москва
    Сергей, при предпросмотре проекта, в логах написано HTTP/1.1 400 Bad Request. Все ячейки пустые...
    При смене библиотеки Clever Internet Suite на Indy или на Win, все появляется кроме фотографий.
    На другом компьютере, где готовился проект, все работает при использовании библиотеки Clever Internet Suite. Почему у меня с теми же настройками не работает?
    Посмотрите пожалуйста проект...
     

    Вложения:

    • lapsi_ru_5.cdp
      Размер файла:
      522 КБ
      Просмотров:
      2
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    С вашим проектом у меня все работает.

    2018-04-12_13-54-23.png

    Библиотека Clever Internet Suite идет вместе с программой и ее работа не зависит от системы.

    Подозреваю, что на ПК, где у вас с ней проблемы какой-то сторонний софт вмешивается в работу программы. Возможно, фаерволл или антивирус.
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Даже некоторые роутеры могут подставлять свои заголовки в запросы.
     
  16. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    88
    Город:
    Москва
    Пробовал отключать одновременно антивирус и брандмауэр в Windows... Не помогает.
    Из-за бана сайта может такое быть?
     

    Вложения:

    • pr5.jpg
      pr5.jpg
      Размер файла:
      239,5 КБ
      Просмотров:
      2
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Может быть и бан сайта. Если IP динамический, попробуйте переподключить интернет и проверить, загружаются ли данные.

    Если смена IP помогла, используйте список прокси для отправки запросов или парсите в 1 поток с подобранной паузой между запросами.
     
  18. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    88
    Город:
    Москва
    Сергей, я считаю, что это бан сайта (у всех все открывается и работает, у меня с теми же настройками нет). У меня бан скорее из-за того, что сразу неоднократно парсил сайт в 50 потоков. Никогда с этим не сталкивался.
    Подскажите, пожалуйста, какие действия предпринимают для выхода из бана?
    У меня динамический IP. Я неоднократно переподключал интернет (ip меняется), но данные не появляются...
    Может в программе надо где-нибудь указывать новый IP?
    По этой ссылке Ссылки недоступны для гостей код страницы виден при библиотеки Indy, при Clever Internet Suite не отображается
    По мобильной версии Ссылки недоступны для гостей (фото парсится с них) код страницы не виден
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Решение:
    2018-04-13_01-07-11.png
     
  20. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    88
    Город:
    Москва
    Да, это решение видел на форуме. пробовал. Стояла галочка изначально TLS12, ставил как указано на скрине... Все равно нет информации в ячейках с мобильной версии.
    У вас же проект открылся без проблем, и на компьютере где готовился проект, никаких дополнительных настроек не производилось, кроме как выбрана библиотека Clever Internet Suite - тоже все открывается.
     

Поделиться этой страницей