алиэкспресс

Тема в разделе "Авторизация на сайтах", создана пользователем MadMX, 4 май 2018.

  1. MadMX

    MadMX New Member Пользователи

    Регистрация:
    3 апр 2018
    Сообщения:
    6
    Вопрос к экспертам алиэкспресса, как решается проблема с авторизацией на алиэкспрессе сегодня? потому что часто выбивает на страницу логинов, и программа автоматически пропускает заданные страницы парсинга, потому что вместо страницы с товарами, алиэкспресс перебрасывает на страницу авторизации, а там, ясное дело товаров нет или постоянно придется заполнять капчу, что тоже не вариант.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.299
    Так и есть, халява закончилась когда можно было запросто в 50 потоков без авторизации распарсивать.
     
    Последнее редактирование: 4 май 2018
  3. MadMX

    MadMX New Member Пользователи

    Регистрация:
    3 апр 2018
    Сообщения:
    6
    то есть варианта нормального алиэкспресс парсинга средствами content downloader даже в 1-2 потока уже нет? Давно вы лично парсили?
     
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.886
    Город:
    Сочи
    Прокси разве не помогают?
     
  5. MadMX

    MadMX New Member Пользователи

    Регистрация:
    3 апр 2018
    Сообщения:
    6
    дело в том что прокси переадресовывают каждый раз на страницу логина, и программа не может спарсить товар, пропуская действие, ссылка уходит вникуда, приходится заново загружать ссылку
    Может можно было бы сделать так что при переадресации ссылка не исчезала из "списка очереди"?
     
  6. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.886
    Город:
    Сочи
    Макрос [ADDURL] добавляет ссылку в конец списка.
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.299
    Кто немного сталкивался с парсингом aliexpress с 2018 года заметили наверно что можно попарсить немного, потом через 10-1000 товаров блокируется парсинг и выясняется что редиректит на страницу авторизации, и желательно парсить через Wbapp, кстати на странице авторизации могут быть каптчи разного вида например 3 кривых символа на картинке или вдобавок слайдер который надо перетягивать вправо. Было бы неплохо если отпишет еще ктото из присутствующих насчет парсинга али.

    Предполагаю что парсинг массовый возможен при наличии хороших непаблик прокси (от 1000 и более). ИМХО.

    п.с. как нибудь позже отпишу что там выходитчерез прокси.
     
    Root нравится это.
  8. Moodys

    Moodys New Member Пользователи

    Регистрация:
    11 май 2018
    Сообщения:
    1
    Город:
    Montevideo
    есть ли успехи?
     
  9. Stan

    Stan Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    298
    в категории товаров ограничение в листинге 100 страниц, как взять больше с категории
    напр.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 2 постов.**
    может есть какие xml карты? чтобы полностью взять товары с категории
     
  10. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.461
    Здравствуйте.
    Нужно вытаскивать всю структуру категорий и идти именно по ней, это существенно снизит количество страниц.
    Если все же товаров много, то далее применять фильтры.
    К примеру категория
    Продажа домов->Частные (больше 100 страниц выдачи)
    Продажа домов->под офис
    значит делаем
    Продажа домов->Частные->Цена от 0 до 10000
    Продажа домов->Частные->Цена от 10001 до 50000
    и т.д.
     
    Stan нравится это.

Поделиться этой страницей