➡️Monitorare e valutare la performance di un servizio
Il tutorial presentare l'importanza del monitoraggio di un servizio digitale e i processi di valutazione ad esso associati.
Introduzione
I servizi erogati dalla pubblica amministrazione stanno evolvendo sempre di più nella forma digitale: la minore interazione in presenza tra cittadino e amministrazione comporta un cambio radicale nella percezione della qualità dei servizi.
Serve quindi individuare criteri e strumenti adatti all’analisi della performance dei servizi, per verificare se questi corrispondono a ciò che il cittadino richiede.
L’analisi dei servizi implica due aspetti distinti:
il monitoraggio, che consiste nella raccolta di dati e informazioni
la valutazione, che, sulla base del monitoraggio, consente di stimare se i servizi sono qualitativamente e quantitativamente rispondenti alla domanda e agli obiettivi definiti.
Analizziamo nel dettaglio questi due aspetti del processo.
Il monitoraggio dei servizi
Il monitoraggio è essenziale per impostare un rigoroso processo di valutazione della qualità dei servizi.
Consiste, anzitutto, nell’individuare gli indicatori rilevanti per il servizio stesso; successivamente, nel raccogliere i dati relativi a quegli indicatori e infine, nell’organizzare i dati in modo da trasformarli in informazioni significative e rappresentabili graficamente.
Gli indicatori per il monitoraggio devono poter misurare quantità utili per il controllo delle condizioni di funzionamento e della qualità di un servizio.
La scelta degli indicatori deve mirare quindi ad individuare dati numerici in modo da ottenere risultati misurabili e confrontabili attraverso analisi quantitative.
I principali requisiti che devono avere gli indicatori sono:
pertinenza - devono misurare effettivamente le dimensioni di interesse
unicità - ogni aspetto deve essere rilevato da un solo indicatore
tempestività - le informazioni necessarie devono essere disponibili in tempo utile
comparabilità - deve essere possibile una comparazione nel tempo e/o nello spazio.
Alcuni indicatori quantitativi possono essere ricavati direttamente dai dati sul numero di accessi, sui tempi di accesso, sul giorno della settimana in cui gli utenti accedono.
Questi indicatori riassumono l’andamento del fenomeno analizzato.
È bene distinguere, infine, tra indicatori di prodotto (ad esempio il numero di accessi per ogni servizio erogato), indicatori di risultato (ad esempio la tempistica della risposta) e indicatori di impatto (ad esempio il numero e la tipologia di cittadini e/o imprese fruitori dei servizi).
Tecniche di monitoraggio
Una modalità di monitoraggio è la predisposizione di questionari e interviste da proporre all’utenza. Il principale limite di questa modalità risiede nel suo carattere prevalentemente qualitativo: infatti, soltanto una sua applicazione molto estesa può rendere i risultati statisticamente attendibili.
Web analytics
Una tecnica avanzata di monitoraggio è la cosiddetta web analytics, che consiste nella misurazione, raccolta, analisi e reporting dei dati web.
L'analisi dei dati web fornisce in particolare informazioni sul numero e le caratteristiche (età, genere,...) dei visitatori di un sito e sul numero di visualizzazioni di una pagina; si può quindi analizzare, valutare e confrontare la qualità dei servizi offerti comprendendo come gli utenti li utilizzano.
L'analisi dei dati web può essere utilizzata, ad esempio, per stimare come cambia il traffico verso un sito web dopo il lancio di una nuova campagna informativa o di un nuovo servizio.
Web Analytics Italia è la piattaforma che ospita i dati statistici dei siti web delle PA aderenti e fornisce statistiche in tempo reale e report dettagliati.
Obiettivo del progetto Web Analytics Italia è aiutare le amministrazioni a comprendere il comportamento degli utenti online, per fornire ai cittadini siti e servizi via via più efficaci e inclusivi.
Web Analytics Italia consente di:
Organizzazione e presentazione dei dati ricavati dal monitoraggio
L'organizzazione dei dati ricavati dal monitoraggio, comunque effettuato, deve consentire una facile presentazione e analisi delle informazioni.
In particolare per i dati quantitativi, questo si può ottenere attraverso tabelle che presentino i dati in maniera:
disaggregata (un solo dato numerico in ogni cella, esempio ora in una cella, giorno in un’altra),
omogenea (i dati dello stesso campo devono essere tra loro confrontabili)
e non ridondante (evitando quindi dati che si possano ricavare da altri già presenti).
È poi utile convertire le tabelle in grafici (istogrammi, torte, linee di tendenza, …) che consentano una rapida visualizzazione dell’andamento e dell’ordine di grandezza dei fenomeni in esame.
La valutazione dei servizi
La valutazione dei servizi consiste nella conversione dei risultati qualitativi e quantitativi del monitoraggio in giudizi di merito, che possono essere assoluti (ad esempio: ottimo, buono, mediocre, cattivo), oppure comparativi (è il caso, per esempio, di un punteggio in relazione ad una scala prefissata di valori, oppure della percentuale di completamento di un obiettivo assegnato).
Per definire i parametri di valutazione è fondamentale fare riferimento ai criteri di qualità per l’erogazione dei servizi online definiti dalla normativa, in particolare si deve operare garantendo fruibilità, accessibilità e tempestività del servizio.
I giudizi di merito desunti dalla valutazione sono essenziali non soltanto per misurare l’efficienza e l’efficacia del servizio fornito, ma anche per ripensare, se necessario, l’intero processo amministrativo associato al servizio. L'introduzione di servizi digitali, infatti, può rivelarsi un'opportunità per l’amministrazione e un grande vantaggio per cittadini e imprese solo se al contempo si semplificano i processi amministrativi alla base, in modo da sfruttare appieno i vantaggi del digitale.
Tecniche di valutazione dei servizi
La valutazione della qualità dei servizi, per essere efficace, non può che basarsi su parametri di natura quantitativa e oggettiva.
Le tecniche quantitative di valutazione si basano su due principali modalità: il ranking e il rating.
Il ranking è una graduatoria in cui è importante la posizione relativa, ma non il valore numerico del punteggio raggiunto (pensiamo, ad esempio, alla classifica di una gara sportiva) e quindi è una modalità che raramente risulta appropriata per la valutazione della qualità di un servizio della pubblica amministrazione.
Il rating, invece, consiste nell’attribuzione di un valore numerico sulla base di una scala che mette in rapporto i risultati ottenuti con valori ottimali predefiniti. Ad esempio, si può valutare l’efficienza di un servizio digitale misurando il rapporto tra il numero di erogazioni online e il numero totale delle erogazioni. O ancora, si può confrontare la diversa fruizione dei servizi erogati da una stessa amministrazione, oppure i risultati ottenuti da amministrazioni differenti sullo stesso servizio.
Campionamento e rappresentatività dei campioni utilizzati
Molte volte non è possibile analizzare i dati relativi a tutte le persone che hanno fruito o meno di un certo servizio. In questi casi è necessario ricorrere a tecniche di campionamento, garantendo la rappresentatività del campione.
Un campione statistico rappresentativo è un sottoinsieme dell’intera popolazione interessata, selezionato in modo da mantenere, per quanto possibile, le caratteristiche rappresentative della popolazione stessa (es. distribuzione per età, genere, reddito,...).
Elemento fondamentale di un buon campione è la sua numerosità in rapporto al totale della popolazione interessata.
Comunicazione dei risultati
I risultati del monitoraggio e della valutazione della performance dei servizi andranno comunicati a diversi destinatari:
cittadini
imprese
dirigenti del proprio ente
politici del proprio ente.
Si dovranno quindi descrivere le diverse modalità adottate per il monitoraggio e la valutazione e, possibilmente, rappresentare i risultati in forma grafica, per garantire un rapido e chiaro accesso all’informazione.
La comunicazione dovrà essere pubblicata sia sulle pagine web istituzionali che sui diversi profili social dell’amministrazione, ma è bene anche diffonderla tramite interviste o brevi video (possibilmente con la traduzione nel linguaggio dei segni).
Infine, condividere i risultati su eventuali piattaforme di partecipazione consente agli utenti anche l’aggiunta di commenti e suggerimenti.
Conclusioni
Il monitoraggio e la valutazione della performance di un servizio sono utili non solo a chi, all’interno dell’amministrazione, progetta e offre servizi a cittadini e imprese, ma anche a chi deve prendere delle decisioni: attraverso il monitoraggio e la valutazione, infatti, si acquisiscono informazioni essenziali per indirizzare la semplificazione dei servizi in ottica anche partecipativa.
___
Anno di riferimento: 2023
Seguici su Open Gov https://open.gov.it/ e su twitter @opengovitaly
Last updated
