Пустые ячейки в CSV-файле после парсинга

Тема в разделе "Решение проблем с использованием программы", создана пользователем ap2205, 30 мар 2018.

  1. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
    Здраствуйте, после парсинга в файле некоторые ячейки не содержат информации - пустые (артикул, имя товара, и тд...). Загружаю ссылки этих товаров заново в программу и выполняю предпросмотр - все отображается...
    Подскажите, пожалуйста, в чем может быть дело?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Скорее всего сайт "подбанивает" некоторые частые запросы к нему.

    Попробуйте парсить в 1 поток.
     
  3. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
    Здраствуйте, попробовал парсить в 1 поток, результата не принес... Также много пустых ячеек. Решил обновить список прокси, но программа не схватывает прокси именно у этого проекта (для других сайтов прокси подхватываются нормально). Подскажите, пожалуйста, как загрузить свежие прокси?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Значит этот сайт, скорее всего, уже забанил прокси, которые вы пытаетесь с ним использовать.

    Нужны другие прокси (желательно платные).
     
  5. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
    Скажите, а какое примерное количество прокси будет достаточным?
    И чтобы сайт не забанил следующие прокси надо парсить его в один поток? Или ещё какие-то настройки нужно сделать?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    У всех сайтов свои настройки (нужно подбирать, тестировать). Также нужно учитывать скорость прокси-серверов.

    Исходите из рассчетов парсинга 1 страницы через каждый прокси раз в 10 секунд.

    Думаю, около 100 прокси в 10 потоков будет нормально.
     
  7. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
    Спасибо, буду пробовать...
     
    Root нравится это.
  8. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
    Здраствуйте, скажите пожалуйста, ранее писал, что не подхватываются прокси в одном из проектов... Попробовал загрузить платные прокси, также не подхватываются... Что может быть не так?
    К тому же не виден код страницы ссылок мобильной версии...
    Сделали проект парсинга на другом компьютере все работает (через библиотеку Clever Internet Suite), загружаем его на моем компьютере - нет информации в я чейках, которые из мобильной версии... Если меняю библиотеку, проподает информация в других ячейках.
    Я так понимаю, что это из-за бана сайта...
    К сайту, который надо спарсить, не подхожу уже неделю. Прокси не подхватываются. Что же делать теперь?
     
  9. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Предположу, что если прокси платные, то скорей всего есть привязка по ip
    Также следует проверить в каком формате загружаются прокси в проект
    [​IMG]
    Не виден код мобильной версии. попробуйте включить выполнение скриптов при задании границ парсинга
    [​IMG]
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Скажите для какого сайта и какие прокси пробуете добавлять.
     
  11. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
    Здраствуйте, Сергей. Сайт Lapsi.ru
    Прокси покупал здесь Ссылки недоступны для гостей
    Выбрал пакет на 280 ip, для проверки, опосался что не пойдут...
    Прокси Россия 280 IP. В пакете примерно 12-17 подсетей.
    При покупки следующего пакета (280 IP), генерируются другие IP адреса,
    но могут попадаться и одинаковые IP, так как генерируются из одного пакета 3000 русских прокси.
    Протоколы прокси: SOCKS5, SOCKS4, HTTPS, HTTP, можете работать через любой.
    Для работы через программы Логин и Пароль используйте тот же, что и для входа в панель управления.
     
  12. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
    Новое
    Здраствуйте, Сергей. Сайт Lapsi.ru
    Прокси покупал здесь Ссылки недоступны для гостей
    Выбрал пакет на 280 ip, для проверки, опосался что не пойдут...
    Прокси Россия 280 IP. В пакете примерно 12-17 подсетей.
    При покупки следующего пакета (280 IP), генерируются другие IP адреса,
    но могут попадаться и одинаковые IP, так как генерируются из одного пакета 3000 русских прокси.
    Протоколы прокси: SOCKS5, SOCKS4, HTTPS, HTTP, можете работать через любой.
    Для работы через программы Логин и Пароль используйте тот же, что и для входа в панель управления.
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Можете предоставить несколько прокси для теста?
     
  14. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
    Вот все, не жалко ни сколечко, все равно мне не помогают...
    37.18.42.157:1085
    91.243.93.216:1085
    37.230.212.175:1085
    185.13.33.43:1085
    185.14.194.168:1085
    185.101.69.103:1085
    5.101.218.31:1085
    37.18.42.40:1085
    141.101.201.99:1085
    37.9.40.11:1085
    79.133.106.137:1085
    5.188.219.116:1085
    185.223.164.201:1085
    95.181.217.150:1085
    37.230.213.72:1085
    193.93.193.119:1085
    185.101.68.50:1085
    5.101.218.21:1085
    91.243.93.250:1085
    5.62.154.178:1085
    5.188.219.96:1085
    185.223.164.83:1085
    178.159.97.17:1085
    91.216.3.187:1085
    91.243.91.17:1085
    91.243.90.37:1085
    37.9.40.31:1085
    91.243.91.167:1085
    5.62.155.38:1085
    193.93.195.116:1085
    185.13.33.146:1085
    79.133.107.117:1085
    37.230.213.158:1085
    178.57.67.195:1085
    37.18.42.46:1085
    178.57.67.234:1085
    91.243.90.237:1085
    185.101.71.141:1085
    5.62.152.94:1085
    185.101.68.26:1085
    185.89.101.59:1085
    5.62.155.22:1085
    193.93.195.69:1085
    46.161.62.163:1085
    146.185.202.76:1085
    193.93.195.112:1085
    5.62.157.152:1085
    141.101.201.70:1085
    178.159.97.59:1085
    185.101.69.131:1085
    5.188.219.87:1085
    37.18.42.64:1085
    5.62.155.169:1085
    37.9.41.22:1085
    193.93.194.150:1085
    185.89.101.90:1085
    185.101.68.86:1085
    91.243.91.43:1085
    178.159.97.99:1085
    91.243.90.147:1085
    37.9.46.204:1085
    185.13.33.140:1085
    178.57.65.87:1085
    178.57.67.173:1085
    37.9.41.111:1085
    46.161.63.169:1085
    91.243.91.85:1085
    185.101.69.93:1085
    91.204.15.67:1085
    37.9.46.112:1085
    37.9.47.132:1085
    193.93.193.139:1085
    37.230.213.37:1085
    185.223.160.195:1085
    185.13.32.56:1085
    178.159.97.69:1085
    141.101.201.40:1085
    193.93.195.39:1085
    193.93.194.79:1085
    37.9.40.197:1085
    5.188.217.230:1085
    185.13.32.131:1085
    5.62.157.52:1085
    5.62.155.156:1085
    5.62.152.17:1085
    5.62.152.115:1085
    5.62.154.177:1085
    178.159.97.188:1085
    5.188.219.115:1085
    185.223.164.116:1085
    185.223.160.48:1085
    5.62.152.186:1085
    37.18.42.133:1085
    178.159.97.156:1085
    37.9.46.74:1085
    5.188.219.139:1085
    46.243.173.86:1085
    185.13.33.141:1085
    37.9.47.190:1085
    185.101.68.58:1085
    46.161.62.226:1085
    46.161.62.217:1085
    185.14.194.187:1085
    5.101.218.104:1085
    91.216.3.106:1085
    79.133.106.20:1085
    5.8.37.39:1085
    46.161.62.131:1085
    5.62.154.146:1085
    91.204.15.161:1085
    37.230.213.57:1085
    37.9.40.138:1085
    5.62.152.37:1085
    37.230.213.21:1085
    193.93.195.199:1085
    37.230.213.56:1085
    185.13.33.226:1085
    79.133.106.152:1085
    5.188.217.32:1085
    188.68.1.30:1085
    91.243.91.110:1085
    46.161.62.206:1085
    37.9.41.142:1085
    79.133.107.112:1085
    37.9.46.120:1085
    95.181.217.23:1085
    37.230.212.96:1085
    91.204.15.33:1085
    185.101.71.147:1085
    141.101.201.117:1085
    178.57.68.78:1085
    37.230.212.72:1085
    5.188.217.81:1085
    46.161.62.205:1085
    178.159.97.54:1085
    185.101.69.45:1085
    185.101.69.63:1085
    37.9.40.183:1085
    185.89.101.116:1085
    37.9.47.180:1085
    95.181.183.129:1085
    37.230.212.37:1085
    188.68.1.37:1085
    79.133.106.124:1085
    185.89.101.149:1085
    193.93.195.211:1085
    95.181.183.70:1085
    5.62.154.133:1085
    185.223.164.103:1085
    5.62.157.40:1085
    37.230.212.182:1085
    185.223.160.84:1085
    185.13.33.244:1085
    91.216.3.128:1085
    46.243.173.93:1085
    188.68.1.23:1085
    5.62.152.141:1085
    141.101.201.38:1085
    5.62.155.175:1085
    5.62.154.166:1085
    141.101.201.138:1085
    95.181.217.107:1085
    185.13.33.55:1085
    91.204.15.96:1085
    185.13.32.76:1085
    185.101.69.132:1085
    46.161.63.226:1085
    141.101.201.30:1085
    185.101.69.53:1085
    185.223.160.35:1085
    37.9.47.90:1085
    178.57.67.199:1085
    37.9.47.197:1085
    91.216.3.29:1085
    91.243.93.247:1085
    37.18.42.189:1085
    37.9.47.15:1085
    185.13.32.31:1085
    79.133.107.126:1085
    37.230.213.44:1085
    185.101.69.152:1085
    185.101.68.142:1085
    178.57.65.154:1085
    185.223.164.41:1085
    5.62.155.69:1085
    5.188.217.215:1085
    95.181.217.202:1085
    185.223.164.108:1085
    46.161.62.148:1085
    37.9.47.144:1085
    178.159.97.48:1085
    37.9.46.65:1085
    146.185.203.69:1085
    193.93.194.25:1085
    95.181.217.42:1085
    185.223.164.88:1085
    185.13.33.118:1085
    37.9.46.186:1085
    185.89.101.195:1085
    185.13.33.33:1085
    91.243.91.224:1085
    178.159.97.77:1085
    37.230.213.58:1085
    91.243.93.94:1085
    46.161.62.189:1085
    46.161.62.207:1085
    93.179.91.175:1085
    5.188.217.220:1085
    95.181.217.15:1085
    79.133.107.131:1085
    185.101.71.17:1085
    193.93.195.78:1085
    178.57.65.94:1085
    91.216.3.60:1085
    193.93.195.111:1085
    193.93.193.190:1085
    185.101.69.69:1085
    185.13.33.23:1085
    91.243.93.121:1085
    91.243.90.62:1085
    5.188.219.252:1085
    46.161.63.180:1085
    37.18.42.146:1085
    46.161.62.221:1085
    5.62.155.87:1085
    185.223.160.213:1085
    5.62.152.95:1085
    46.161.63.202:1085
    178.57.65.111:1085
    5.101.218.32:1085
    91.243.91.101:1085
    37.9.41.114:1085
    193.93.194.250:1085
    5.62.152.82:1085
    91.204.15.59:1085
    193.93.194.162:1085
    193.93.193.35:1085
    5.188.217.141:1085
    5.188.219.187:1085
    79.133.106.153:1085
    185.101.71.65:1085
    193.93.194.158:1085
    5.188.217.98:1085
    93.179.91.145:1085
    185.101.71.148:1085
    79.110.31.21:1085
    185.101.71.24:1085
    5.188.217.241:1085
    91.243.91.149:1085
    5.62.157.155:1085
    5.62.155.85:1085
    37.18.42.195:1085
    146.185.202.27:1085
    178.159.97.174:1085
    5.62.155.179:1085
    46.161.63.170:1085
    91.216.3.68:1085
    91.243.91.38:1085
    193.93.193.133:1085
    5.62.157.185:1085
    185.13.32.59:1085
    5.101.218.106:1085
    193.93.193.43:1085
    37.9.46.99:1085
    5.62.155.147:1085
    185.223.160.145:1085
    141.101.201.83:1085
    141.101.201.39:1085
    185.101.71.101:1085
    37.9.41.127:1085
    37.9.47.128:1085
    79.133.106.146:1085
    185.101.68.18:1085
    185.13.33.94:1085
    5.188.217.243:1085
    37.230.213.16:1085
    95.181.217.172:1085
    5.188.219.28:1085
    185.101.69.145:1085
    91.243.93.165:1085
     
  15. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
    Это какие-то proxy_socks_ip
    есть еще
    proxy_socks_auth
    proxy_http_ip
    proxy_http_auth
    пробовал все
     
  16. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Предоставленные вами прокси не будут работать у тех, кто их возьмет на тест т.к. привязка по логину/паролю ip

    [​IMG]

    Можете скинуть скрин настроек прокси?
    Предположу вы не правильно настраиваете
    Вы используете один и тот же компьютер для входа в личный кабинет proxybox_*ru и на нем же проводите парсинг?
     
    Root нравится это.
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  18. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
     

    Вложения:

    • pr.jpg
      pr.jpg
      Размер файла:
      224,6 КБ
      Просмотров:
      4
  19. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
    Вот настройки прокси-серверов.
    Я работаю на одном компьютере. Извините, но не совсем понимаю "proxybox_*ru" - где это и что?
     

    Вложения:

    • pr.jpg
      pr.jpg
      Размер файла:
      224,6 КБ
      Просмотров:
      2
  20. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Читайте внимательней
    прокси работают в формате логин:пароль@ip:порт
    на вашем скрине
    [​IMG]
    прокси записан как ip:порт
     

Поделиться этой страницей