Пустые ячейки в CSV-файле после парсинга

Тема в разделе "Решение проблем с использованием программы", создана пользователем ap2205, 30 мар 2018.

  1. ap2205

    ap2205 New Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    55
    Город:
    Москва
    Здраствуйте, после парсинга в файле некоторые ячейки не содержат информации - пустые (артикул, имя товара, и тд...). Загружаю ссылки этих товаров заново в программу и выполняю предпросмотр - все отображается...
    Подскажите, пожалуйста, в чем может быть дело?
     
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Здравствуйте.

    Скорее всего сайт "подбанивает" некоторые частые запросы к нему.

    Попробуйте парсить в 1 поток.
     
  3. ap2205

    ap2205 New Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    55
    Город:
    Москва
    Здраствуйте, попробовал парсить в 1 поток, результата не принес... Также много пустых ячеек. Решил обновить список прокси, но программа не схватывает прокси именно у этого проекта (для других сайтов прокси подхватываются нормально). Подскажите, пожалуйста, как загрузить свежие прокси?
     
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Здравствуйте.

    Значит этот сайт, скорее всего, уже забанил прокси, которые вы пытаетесь с ним использовать.

    Нужны другие прокси (желательно платные).
     
  5. ap2205

    ap2205 New Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    55
    Город:
    Москва
    Скажите, а какое примерное количество прокси будет достаточным?
    И чтобы сайт не забанил следующие прокси надо парсить его в один поток? Или ещё какие-то настройки нужно сделать?
     
  6. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    У всех сайтов свои настройки (нужно подбирать, тестировать). Также нужно учитывать скорость прокси-серверов.

    Исходите из рассчетов парсинга 1 страницы через каждый прокси раз в 10 секунд.

    Думаю, около 100 прокси в 10 потоков будет нормально.
     
  7. ap2205

    ap2205 New Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    55
    Город:
    Москва
    Спасибо, буду пробовать...
     
    Root нравится это.
  8. ap2205

    ap2205 New Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    55
    Город:
    Москва
    Здраствуйте, скажите пожалуйста, ранее писал, что не подхватываются прокси в одном из проектов... Попробовал загрузить платные прокси, также не подхватываются... Что может быть не так?
    К тому же не виден код страницы ссылок мобильной версии...
    Сделали проект парсинга на другом компьютере все работает (через библиотеку Clever Internet Suite), загружаем его на моем компьютере - нет информации в я чейках, которые из мобильной версии... Если меняю библиотеку, проподает информация в других ячейках.
    Я так понимаю, что это из-за бана сайта...
    К сайту, который надо спарсить, не подхожу уже неделю. Прокси не подхватываются. Что же делать теперь?
     
  9. inotoxic

    inotoxic Active Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    116
    Предположу, что если прокси платные, то скорей всего есть привязка по ip
    Также следует проверить в каком формате загружаются прокси в проект
    [​IMG]
    Не виден код мобильной версии. попробуйте включить выполнение скриптов при задании границ парсинга
    [​IMG]
     
  10. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Здравствуйте.

    Скажите для какого сайта и какие прокси пробуете добавлять.
     
  11. ap2205

    ap2205 New Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    55
    Город:
    Москва
    Здраствуйте, Сергей. Сайт Lapsi.ru
    Прокси покупал здесь Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Выбрал пакет на 280 ip, для проверки, опосался что не пойдут...
    Прокси Россия 280 IP. В пакете примерно 12-17 подсетей.
    При покупки следующего пакета (280 IP), генерируются другие IP адреса,
    но могут попадаться и одинаковые IP, так как генерируются из одного пакета 3000 русских прокси.
    Протоколы прокси: SOCKS5, SOCKS4, HTTPS, HTTP, можете работать через любой.
    Для работы через программы Логин и Пароль используйте тот же, что и для входа в панель управления.
     
  12. ap2205

    ap2205 New Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    55
    Город:
    Москва
    Новое
    Здраствуйте, Сергей. Сайт Lapsi.ru
    Прокси покупал здесь Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Выбрал пакет на 280 ip, для проверки, опосался что не пойдут...
    Прокси Россия 280 IP. В пакете примерно 12-17 подсетей.
    При покупки следующего пакета (280 IP), генерируются другие IP адреса,
    но могут попадаться и одинаковые IP, так как генерируются из одного пакета 3000 русских прокси.
    Протоколы прокси: SOCKS5, SOCKS4, HTTPS, HTTP, можете работать через любой.
    Для работы через программы Логин и Пароль используйте тот же, что и для входа в панель управления.
     
  13. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Можете предоставить несколько прокси для теста?
     
  14. ap2205

    ap2205 New Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    55
    Город:
    Москва
    Вот все, не жалко ни сколечко, все равно мне не помогают...
    37.18.42.157:1085
    91.243.93.216:1085
    37.230.212.175:1085
    185.13.33.43:1085
    185.14.194.168:1085
    185.101.69.103:1085
    5.101.218.31:1085
    37.18.42.40:1085
    141.101.201.99:1085
    37.9.40.11:1085
    79.133.106.137:1085
    5.188.219.116:1085
    185.223.164.201:1085
    95.181.217.150:1085
    37.230.213.72:1085
    193.93.193.119:1085
    185.101.68.50:1085
    5.101.218.21:1085
    91.243.93.250:1085
    5.62.154.178:1085
    5.188.219.96:1085
    185.223.164.83:1085
    178.159.97.17:1085
    91.216.3.187:1085
    91.243.91.17:1085
    91.243.90.37:1085
    37.9.40.31:1085
    91.243.91.167:1085
    5.62.155.38:1085
    193.93.195.116:1085
    185.13.33.146:1085
    79.133.107.117:1085
    37.230.213.158:1085
    178.57.67.195:1085
    37.18.42.46:1085
    178.57.67.234:1085
    91.243.90.237:1085
    185.101.71.141:1085
    5.62.152.94:1085
    185.101.68.26:1085
    185.89.101.59:1085
    5.62.155.22:1085
    193.93.195.69:1085
    46.161.62.163:1085
    146.185.202.76:1085
    193.93.195.112:1085
    5.62.157.152:1085
    141.101.201.70:1085
    178.159.97.59:1085
    185.101.69.131:1085
    5.188.219.87:1085
    37.18.42.64:1085
    5.62.155.169:1085
    37.9.41.22:1085
    193.93.194.150:1085
    185.89.101.90:1085
    185.101.68.86:1085
    91.243.91.43:1085
    178.159.97.99:1085
    91.243.90.147:1085
    37.9.46.204:1085
    185.13.33.140:1085
    178.57.65.87:1085
    178.57.67.173:1085
    37.9.41.111:1085
    46.161.63.169:1085
    91.243.91.85:1085
    185.101.69.93:1085
    91.204.15.67:1085
    37.9.46.112:1085
    37.9.47.132:1085
    193.93.193.139:1085
    37.230.213.37:1085
    185.223.160.195:1085
    185.13.32.56:1085
    178.159.97.69:1085
    141.101.201.40:1085
    193.93.195.39:1085
    193.93.194.79:1085
    37.9.40.197:1085
    5.188.217.230:1085
    185.13.32.131:1085
    5.62.157.52:1085
    5.62.155.156:1085
    5.62.152.17:1085
    5.62.152.115:1085
    5.62.154.177:1085
    178.159.97.188:1085
    5.188.219.115:1085
    185.223.164.116:1085
    185.223.160.48:1085
    5.62.152.186:1085
    37.18.42.133:1085
    178.159.97.156:1085
    37.9.46.74:1085
    5.188.219.139:1085
    46.243.173.86:1085
    185.13.33.141:1085
    37.9.47.190:1085
    185.101.68.58:1085
    46.161.62.226:1085
    46.161.62.217:1085
    185.14.194.187:1085
    5.101.218.104:1085
    91.216.3.106:1085
    79.133.106.20:1085
    5.8.37.39:1085
    46.161.62.131:1085
    5.62.154.146:1085
    91.204.15.161:1085
    37.230.213.57:1085
    37.9.40.138:1085
    5.62.152.37:1085
    37.230.213.21:1085
    193.93.195.199:1085
    37.230.213.56:1085
    185.13.33.226:1085
    79.133.106.152:1085
    5.188.217.32:1085
    188.68.1.30:1085
    91.243.91.110:1085
    46.161.62.206:1085
    37.9.41.142:1085
    79.133.107.112:1085
    37.9.46.120:1085
    95.181.217.23:1085
    37.230.212.96:1085
    91.204.15.33:1085
    185.101.71.147:1085
    141.101.201.117:1085
    178.57.68.78:1085
    37.230.212.72:1085
    5.188.217.81:1085
    46.161.62.205:1085
    178.159.97.54:1085
    185.101.69.45:1085
    185.101.69.63:1085
    37.9.40.183:1085
    185.89.101.116:1085
    37.9.47.180:1085
    95.181.183.129:1085
    37.230.212.37:1085
    188.68.1.37:1085
    79.133.106.124:1085
    185.89.101.149:1085
    193.93.195.211:1085
    95.181.183.70:1085
    5.62.154.133:1085
    185.223.164.103:1085
    5.62.157.40:1085
    37.230.212.182:1085
    185.223.160.84:1085
    185.13.33.244:1085
    91.216.3.128:1085
    46.243.173.93:1085
    188.68.1.23:1085
    5.62.152.141:1085
    141.101.201.38:1085
    5.62.155.175:1085
    5.62.154.166:1085
    141.101.201.138:1085
    95.181.217.107:1085
    185.13.33.55:1085
    91.204.15.96:1085
    185.13.32.76:1085
    185.101.69.132:1085
    46.161.63.226:1085
    141.101.201.30:1085
    185.101.69.53:1085
    185.223.160.35:1085
    37.9.47.90:1085
    178.57.67.199:1085
    37.9.47.197:1085
    91.216.3.29:1085
    91.243.93.247:1085
    37.18.42.189:1085
    37.9.47.15:1085
    185.13.32.31:1085
    79.133.107.126:1085
    37.230.213.44:1085
    185.101.69.152:1085
    185.101.68.142:1085
    178.57.65.154:1085
    185.223.164.41:1085
    5.62.155.69:1085
    5.188.217.215:1085
    95.181.217.202:1085
    185.223.164.108:1085
    46.161.62.148:1085
    37.9.47.144:1085
    178.159.97.48:1085
    37.9.46.65:1085
    146.185.203.69:1085
    193.93.194.25:1085
    95.181.217.42:1085
    185.223.164.88:1085
    185.13.33.118:1085
    37.9.46.186:1085
    185.89.101.195:1085
    185.13.33.33:1085
    91.243.91.224:1085
    178.159.97.77:1085
    37.230.213.58:1085
    91.243.93.94:1085
    46.161.62.189:1085
    46.161.62.207:1085
    93.179.91.175:1085
    5.188.217.220:1085
    95.181.217.15:1085
    79.133.107.131:1085
    185.101.71.17:1085
    193.93.195.78:1085
    178.57.65.94:1085
    91.216.3.60:1085
    193.93.195.111:1085
    193.93.193.190:1085
    185.101.69.69:1085
    185.13.33.23:1085
    91.243.93.121:1085
    91.243.90.62:1085
    5.188.219.252:1085
    46.161.63.180:1085
    37.18.42.146:1085
    46.161.62.221:1085
    5.62.155.87:1085
    185.223.160.213:1085
    5.62.152.95:1085
    46.161.63.202:1085
    178.57.65.111:1085
    5.101.218.32:1085
    91.243.91.101:1085
    37.9.41.114:1085
    193.93.194.250:1085
    5.62.152.82:1085
    91.204.15.59:1085
    193.93.194.162:1085
    193.93.193.35:1085
    5.188.217.141:1085
    5.188.219.187:1085
    79.133.106.153:1085
    185.101.71.65:1085
    193.93.194.158:1085
    5.188.217.98:1085
    93.179.91.145:1085
    185.101.71.148:1085
    79.110.31.21:1085
    185.101.71.24:1085
    5.188.217.241:1085
    91.243.91.149:1085
    5.62.157.155:1085
    5.62.155.85:1085
    37.18.42.195:1085
    146.185.202.27:1085
    178.159.97.174:1085
    5.62.155.179:1085
    46.161.63.170:1085
    91.216.3.68:1085
    91.243.91.38:1085
    193.93.193.133:1085
    5.62.157.185:1085
    185.13.32.59:1085
    5.101.218.106:1085
    193.93.193.43:1085
    37.9.46.99:1085
    5.62.155.147:1085
    185.223.160.145:1085
    141.101.201.83:1085
    141.101.201.39:1085
    185.101.71.101:1085
    37.9.41.127:1085
    37.9.47.128:1085
    79.133.106.146:1085
    185.101.68.18:1085
    185.13.33.94:1085
    5.188.217.243:1085
    37.230.213.16:1085
    95.181.217.172:1085
    5.188.219.28:1085
    185.101.69.145:1085
    91.243.93.165:1085
     
  15. ap2205

    ap2205 New Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    55
    Город:
    Москва
    Это какие-то proxy_socks_ip
    есть еще
    proxy_socks_auth
    proxy_http_ip
    proxy_http_auth
    пробовал все
     
  16. inotoxic

    inotoxic Active Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    116
    Предоставленные вами прокси не будут работать у тех, кто их возьмет на тест т.к. привязка по логину/паролю ip

    [​IMG]

    Можете скинуть скрин настроек прокси?
    Предположу вы не правильно настраиваете
    Вы используете один и тот же компьютер для входа в личный кабинет proxybox_*ru и на нем же проводите парсинг?
     
    Root нравится это.
  17. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
  18. ap2205

    ap2205 New Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    55
    Город:
    Москва
     

    Вложения:

    • pr.jpg
      pr.jpg
      Размер файла:
      224,6 КБ
      Просмотров:
      3
  19. ap2205

    ap2205 New Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    55
    Город:
    Москва
    Вот настройки прокси-серверов.
    Я работаю на одном компьютере. Извините, но не совсем понимаю "proxybox_*ru" - где это и что?
     

    Вложения:

    • pr.jpg
      pr.jpg
      Размер файла:
      224,6 КБ
      Просмотров:
      2
  20. inotoxic

    inotoxic Active Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    116
    Читайте внимательней
    прокси работают в формате логин:пароль@ip:порт
    на вашем скрине
    [​IMG]
    прокси записан как ip:порт
     

Поделиться этой страницей