Workflow

Il Workflow è il componente che permette di realizzare la propria pipeline di Data Science & Machine Learning.

Gestione dei Workflow

Per accedere alla schermata di gestione dei Workflow utilizzare il menù laterale:

Visualizzazione dei Workflow

Dalla pagina di gestione dei Workflow è possibile visualizzare i Workflow pubblici, del team di appartenenza ed i propri privati.

Qui, per ciascuno di essi, sono disponibili le seguenti funzioni:

Funzione	Pulsante
Eseguire
Creare Template
Modificare
Eliminare
Report workflow

Cliccando sulla card stessa si accederà invece al pannello dettaglio Workflow.

Dove, in alto a destra, saranno disponibili funzioni aggiuntive:

quali:

Funzione	Pulsante
Visualizzazione contenuti multimediali generati dai Service del Workflow
Selezione versione Workflow
Visualizzazione annotazioni per il Workflow
Aggiunta del Workflow ad un Project
Esportazione del Workflow

All'interno della stessa pagina, in basso, sono inoltre disponibili le seguenti sezioni a scomparsa:

• Workflow: per interagire con i componenti del Workflow

• Datasets: per visualizzare l'elenco dei dataset in input e in output assieme ad una loro anteprima ()

  

• Models: per visualizzare l'elenco dei modelli in input e in output, e scaricarli ()

  

• Schedules: per impostare e visualizzare le pianificazioni di esecuzione del Workflow

  

Le seguenti sezioni descrivono più nel dettaglio le suddette funzionalità

Workflow Media (Contenuti Multimediali)

Al click su si aprirà la schermata di visualizzazione dei contenuti multimediali creati dai Service componenti il Workflow (vedi anche Service - Workflow Media):

Da qui sarà possibile:

1. Visualizzare i contenuti multimediali generati da ciascun Service
2. Selezionare l'esecuzione specifica per la quale visualizzare i contenuti

Selezione Versione

Dalla pagina di dettaglio di un Workflow è possibile accedere al selettore di versione:

Da lì è possibile selezionare una versione specifica ed eseguire su di essa diverse operazioni: esecuzioni, modifica, ecc.

La selezione sarà temporanea. Nel caso in cui si volesse impostare una versione specifica come default, cliccare sull'icona . Da quel momento in poi la card del Workflow a catalogo punterà a questa versione.

Visualizzazione Annotazioni

Al click su si aprirà l'elenco delle annotazioni assegnate al Workflow:

Aggiunta ad un Project

Al click su si aprirà il dialog che consentirà di aggiungere il Workflow ad un Project.

I Project disponibili sono quelli precedentemente creati dall'apposita sezione (vedi Asset -> Projects)

Esportazione

Al click su sarà possibile esportare il Workflow in diversi formati:

• Standalone
• Manifest

Selezionando la modalità Standalone potrai scaricare uno stack Docker Compose implementante il Workflow e pensato per l'esecuzione di questi in locale o su sistemi diversi da ALIDA.

Selezionando invece la modalità Manifest potrai scaricare l'equivalente versione Kubernetes in formato manifest JSON.

Schedulazione

Dalla sezione Schedules sarà possibile pianificare l'esecuzione del Workflow attraverso espressioni Cron.

**

Creazione Workflow

• Per le istruzioni di creazione del Workflow rimandiamo al paragrafo Crea Workflow della sezione Quickstart.

• Per le funzionalità disponibili sul Workflow Designer rimandiamo alla sezione Designer

In questa sezione illustremo alcune funzioni aggiuntive utili nelle fasi di creazione e modifica di un Workflow.

Per gli esempi prenderemo a riferimento il Workflow creato durante il Quickstart.

Impostazioni Preliminari

Subito dopo aver cliccato sul pulsante Create Workflow, si aprirà il seguente form per le impostazioni preliminari:

avente i seguenti campi:

• Access Level
• Default Data Source

Access Level determina il livello di visibilità dell'asset Workflow (come visto in Concetti Base)

Default Data Source permette di selezionare la Datasource predefinita a cui tutti i Service del Workflow punteranno per il salvataggio dei risultati. Tale configurazione di default potrà poi essere cambiata per singolo Service dall'interno del Workflow Designer (vedi sezione seguente Impostazioni Porte I/O)

Informazioni Generali

• Il Workflow Designer consentirà di collegare tra loro solo porte compatibili

Impostazioni Porte I/O

Cliccando su una delle porte dei blocchi sul canvas, si aprirà sul pannello Dettagli Elementi un form di configurazione, il cui contenuto dipenderà non solo al tipo di porta ma anche di blocco (service, dataset, ...)

Per esempio cliccando sulla porta di input di tipo dataset del Service KMeans, troviamo la possibilità di selezionare - attraverso le relative checkbox - quali colonne del dataset effettivamente passare al Service.

Cliccando invece sulla porta di output di tipo dataset del Service, potremo sulla destra selezionare la datasource destinazione per il dataset in uscita.

Selezione Target di esecuzione per i Service

Per ciascun Service componente il Workflow è possibile impostare un Target.

Il Target determina l'insieme dei nodi del cluster ALIDA candidati ad ospitare l'esecuzione dei Service che gli sono stati assegnati.

I possibili Target selezionabili dovranno essere preventivamente definiti dall'amministratore da pannello di controllo (vedi Gestione dei Target)

Annotazione del Workflow

ALIDA consente, da Workflow Designer, di assegnare al Workflow un insieme di note strutturate. Note che dovranno essere state precedentemente definite da un amministratore da Pannello di Controllo (vedi Definizione Annotazioni).

Per associare delle note strutturate al Workflow, aprire il pannello di gestione cliccando su .

A quel punto la procedura di aggiunta e gestione delle note è del tutto analoga a quanto descritto per i Service (Annotazione Service)

Valorizzazione automatica dei parametri di porta

Nel collegare Service tra loro, ALIDA provvederà ad assegnare i valori gli argomenti (quelli definiti nel metamodello) della porta di output di un Service ai corrispettivi della porta di input del Service successivo nel Workflow.

Esempio

Modifica di un Workflow

E' possibile modificare un Workflow, o rapidamente le proprietà di un Service che lo compone, cliccando sul pulsante .

Versionamento

Ad ogni modifica il Workflow verrà versionato:

e sarà possibile impostare una versione precedente come default

Esecuzione di un Workflow

Una volta che il Workflow è stato configurato e creato, può essere eseguito o schedulato per l'esecuzione. Se configurate, ALIDA invierà anche le relative notifiche sul relativo stato di esecuzione.

Selezione del Namespace

Al click sul pulsante , se l'amministratore di sistema ha definito namespace aggiuntivi da Pannello di Controllo, si aprirà un pop-up per la selezione del namespace.

Qui Basti sapere che per namespace si intende un'area del cluster dedicata all'esecuzione del Workflow. Più namespace possono differire per politiche di sicurezza, risorse computazionali disponibili e altro (Consulta il tuo amministratore di sistema per maggior informazioni).

Possibili Stati Workflow

• READY: il Workflow è appena stato creato ed è pronto per l'esecuzione
• STARTING: il Workflow è in fase di inizializzazione. Risorse per esso stanno venendo allocate
• RUNNING: il Workflow è attualmente in esecuzione
• COMPLETED: il Workflow ha completato l'esecuzione. Risultati disponibili
• STOPPED: il Workflow è stato manualmente fermato dall'utente
• ERROR: il Workflow si è interrotto a causa di un errore

Log dei Service del Workflow

Dalla pagina di dettaglio di un Workflow eseguito o in esecuzione è possibile accedere al log dei singoli Service componenti che hanno superato la fase di inizializzazione (stato STARTING).

Come indicato in figura, cliccando su si aprirà il pannello di visualizzazione dei log.

Da qui, cliccando su sarà anche possibile scaricare una copia dei log in locale.

Eliminazione di un Workflow

Cliccando su sarà possibile eliminare un Workflow dal catalogo.

ALIDA chiederà conferma:

Report di un Workflow

Cliccando su sarà possibile scaricare un report sul Workflow in formato ZIP.

Tale archivio conterrà:

1. report.html: un file HTML con informazioni sul Workflow ed in particolare su ogni Run, Dataset, Model, Datasource e Service utilizzato.
2. media: una cartella contenenti eventuali file generati dai Service del Workflow. Inoltre, questa conterrà una sottocartella per ogni Service che ha generato un file. La sottocartella sarà identificata dall'id del Service e conterrà i dati da esso generati.

Creazione di un Template

Cliccando su sarà possibile creare un Template a partire da un Workflow esistente.

Visita Gestione Template per maggiori informazioni.