E-time | the software company
La versione 3.0 di Apache Airflow segna un salto evolutivo significativo rispetto alle release precedenti.
Questo aggiornamento è pensato per rispondere alla crescente esigenza di orchestrare workflow complessi e si afferma come punto di riferimento per lo sviluppo di soluzioni enterprise basate su dati. Principali aggiornamenti introdotti:
1. Architettura a servizi in Airflow 3.0 e Task Execution API
Un delle modifiche più significative riguarda la struttura interna del sistema: Airflow 3.0 evolve verso un’architettura service-oriented basata sui servizi, supportata dalla nuova Task Execution Interface. Grazie a un API Server dedicato, la logica di parsing dei DAG è separata dall’esecuzione dei task, migliorando potenzialmente flessibilità e sicurezza.
Questo design permette di eseguire task in ambienti multi-cloud e ibridi, offrendo SDK per task in diversi linguaggi, così da definire ed eseguire pipeline riducendo alcuni vincoli infrastrutturali.
2. Edge Executor in Airflow: orchestrazione distribuita e esecuzione dei task
Per estendere l’orchestrazione al di fuori dei data center centrali, Airflow 3.0 introduce l’Edge Executor (AIP-69), disponibile tramite un pacchetto provider.
Basato sulla Task Execution Interface, questo esecutore consente di eseguire pipeline su dispositivi remoti o “edge”, permettendo una gestione distribuita dei workflow su scala geografica. L’integrazione con l’API Server garantisce una gestione efficiente dei task remoti all’interno dei DAG principali.
3. DAG Versioning: gestione dei workflow in Airflow 3.0
La nuova architettura introduce le basi per associare le DAG run a una rappresentazione più stabile del codice e della struttura dei task al momento dell’avvio, riducendo gli effetti dei cambiamenti applicati durante l’esecuzione.
Pur non essendo ancora un sistema di versioning nativo completo, questi miglioramenti permettono di aumentare la stabilità delle pipeline e pongono le fondamenta per una gestione più controllata dei workflow nel tempo.
4. Interfaccia utente rinnovata in Airflow 3.0
La UI (user interface) di Airflow 3.0 è stata completamente ridisegnata sfruttando React e si appoggia a nuove API REST realizzate con FastAPI, garantendo un’esperienza utente più veloce e intuitiva.
La nuova interfaccia migliora l’integrazione senza soluzione di continuità di workflow basati sugli asset e workflow basati sui task, rimuovendo vincoli di navigazione e offrendo strumenti avanzati come la Grid View e la Graph View, rendendo la piattaforma più reattiva e accessibile.
5. Migrazione ad Airflow: compatibilità e strumenti
Per agevolare l’aggiornamento, nonostante le modifiche architetturali, Airflow 3.0 mantiene la retrocompatibilità per i DAG esistenti grazie al Python TaskSDK.
La transizione può essere effettuata gradualmente: i team possono iniziare a lavorare sugli asset o testare l’esecuzione in ambienti Docker prima di passare in produzione.
