ИИ и автоматизация
Данные о недвижимости: конвейер
Выгрузки пяти польских порталов собираются в одну таблицу ClickHouse по расписанию Airflow, объявления обогащаются языковой моделью.
Что сделано
Пять порталов (Otodom, OLX, Gratka, Morizon, Nieruchomosci) каждый день присылают файлы по городам. Скрипт находит их в облачном хранилище, приводит пять разных форматов к одной таблице и загружает в ClickHouse. Продажа и аренда идут отдельными ветками.
Повторный запуск пропускает уже загруженное и догружает пропущенные дни, а один битый файл не останавливает остальные.
Отдельные задачи Airflow каждые пять минут исправляют адреса, пишут описания и разбирают фото через языковую модель, затем собирается витрина для сайта.
В демо схема по этапам и тестовый прогон с журналом в формате настоящих логов.
Технологии
Расскажите о задаче
Архитектор ответит в течение дня: задаст пару вопросов, предложит решение, сроки и цену. Это бесплатно и ни к чему не обязывает.
- Оценка и план работ до начала
- Оплата по этапам
- Исходный код и доступы остаются у вас