Регистрация

Спарсить: контакты. Необходимо собрать контакты посетителей сайта для дальнейшей рассылки им рекламы.

Спарсить: контакты. Требуется собрать базу телефонов специалистов со всей России с такими ключевыми словами: Компьютерный мастер Компьютерная помощь Ремонт ПК/ноутбуков Сборка ПК Настройка роутеров / настройка интернета Ремонт и протяжка интернет-кабеля.

Спарсить: товары, цены, объявления, Характеристики. Необходимо спарсить подробные данные по продажам квартиры в новостройках г. Москвы. По сколько сам сайт хорошо борется с парсингом необходимо будет обойти ряд трудностей, что поможет провести эффективный парсинг в относительно сжатые сроки 2-3 дня. Примерный объем объявлений, которые необходимо получить: 50 000 Логика парсера: 1) По заданным условиям поиска (Город, Метро, Новостройка, Продажа, Квартиры, Кол-во комнат; возможно будет добавлено еще 1-2 условия) необходимо подгрузить объявления. Тут появляется первая трудность, сайт не выдает в открытом поиске все найденные объявления по заданным условиям, поэтому после того как будут получены все объявления со страниц, необходимо будет поменять тип сортировки (например от макс. цены к мин., от бОльшего размера квартиры (м2) к меньшему, итп.) , что позволит увидеть объявления, которые ранее не были спаршены. 2) Зайти в каждое объявление (карточку), забрать из нее все хар-ки, которые будут указаны (где-то их больше, где-то меньше, но в среднем порядка 6-7 штук, список будет чуть ниже). 3) Объявление можно будет идентифицировать (ID) через ссылку, поэтому перед тем как перейти по ссылке карточки (объявления), нужно будет проверять, а не был ли оно уже спаршено. 4) Собрать всю статистику либо в одну большую .csv, либо в несколько раздельных файлов (для каждой станции метро). 5) Очевидно, что подобный способ парсинга будет вызывать проверку по капче и будет довольно медлительный, поэтому необходимо организовать мультипроцессинг с использованием прокси, чтобы сбор шел с разных IP одновременно. Хар-ки, которые нужны: 1. Автор объявления 2. Тип автора (частное лицо, девелопер, итп.) 3. ссылка (она же уник. идентификатор) 4. Тип жилья (квартира, апартаменты, итп.; нам нужны только квартиры, но это необходимо чтобы убедиться в том, что парсинг производится валидно) 5. Этаж 6. Этажей в здании 7. Кол-во комнат 8. Общая площадь (м2) 9. Жилая площадь (м2) 10. Сдан ли дом 11. Год сдачи (постройки) 12. Отделка 13. Санузел (кол-во) 14. Тип отопления 15. Тип дома 16. Тип жилья (по идее все должны быть новостройки, поэтому эта метрика скорее больше для контроля) 17. Адрес 18. Метро 19. Район 20. ЖК 21. Расстояние до ближайшего метро Если получится, доп. 22. Координаты_Х 23. Координаты_Y Это в теории, возможно вытащить с карты. В случае отсутствии хар-ки, поставить значение -1. Со всеми хар-ками помогу разобраться, подскажу где они находятся, как их можно вытащить. Есть пример кода и библиотеки на Python, но требует явной доработки и скорее может быть использовано как костыль. Основной трудностью будет обход блокировки со стороны сайта и запуск параллельного парсинга. При необходимости, прокси будут оплачены отдельно. Список метро Москвы также имеется в готов виде. По срокам: в идеале завершить программу за 1-2 дня, закончить сбор за 3-4 дня. По цене готов обсуждать.

Спарсить: контакты. Сбор базы компаний, оказывающих услуги по ремонту пк и компьютерной помощи. Компании должны иметь помещение, куда заходят клиенты.

Спарсить: контакты, объявления. Нужно спарсить сайт, собрать контакты и общую информацию.

Спарсить: HH. Парсинг с HH 200-300 резюме сайта HH.

Спарсить: товары, цены, отзывы. Парсинг данных с сайтов и приложений – c относительно простых до более сложных (Cloudflare, Qrator, др.): название, цены, контент, наличие товара Требуется разработать программу для регулярного (ежедневного) сбора открытых данных с торговой онлайн-площадки. Программа должна получать информацию о ценах, название, описание товаров, изображения, статус наличия или отсутствия, наименование продавца. Эти данные необходимы для анализа рынка, а программа – для последующего использования заказчиком. Мы собираем данные с сотен сайтов и ищем специалистов для расширения пула сайтов для получения данных. Из числа простых могут потребоваться разработка сбора с таких приложений, как Wildberries, Apteka.ru, Mvideo и другие. Примеры площадок из числа сложных: – https://www.asna.ru/ – https://shopee.co.id – https://uae.emaxme.com/ – https://melzdrav.ru/ – https://polza.ru/ – https://zdesapteka.ru/ – https://www.mediaworld.it/ – https://www.coupang.com/ Требования к разработке программы для сбора с конкретной площадки: – Программа может быть разработана на Golang или ином (более удобном для вас) языке программирования. – Программа может парсить с веб-сайтов ИЛИ получать данных по API мобильного приложения, эмулируя запросы пользователей. Выбор среди двух этих методов не принципиален. – Программа должна эффективно обходить механизмы защиты (например, Qrator или Cloudflare), включая CAPTCHA. Могут быть задействованы прокси-сервера; а также введение задержек между запросами. – Результаты парсинга должны быть сохранены в структурированном формате, например, в формате CSV или базы данных. – (Опционально) Оптимизация производительности программы при работе с большими объемами данных (от 1-2 до 10 тыс. товаров в день) Пожалуйста, предоставьте информацию о вашем опыте работы с парсингом данных и примеры ранее выполненных проектов. Бюджет: цена договорная, в зависимости от площадки В случае успеха проекта, возможно дальнейшее сотрудничество для поддержки программы (и разработка новых программ для других площадок). Готовы рассмотреть вариант попроектной оплаты. Готовы предоставить все необходимые уточнения и подробности.

Работа с таблицами , вкратце нужно сделать 500+ различных характеристик привести к одному виду и разбить их по категориям.

Спарсить: контакты. Есть закрытый тг канал и доступ к нему. Необходимо сохранить всех участников данной группы , имя , ниг тг, при наличии телефон.