La valutazione delle iniziative di rigenerazione del paesaggio culturale

Una metodologia di valutazione efficace deve contribuire a migliorare la pianificazione strategica delle iniziative RVPC per garantire il raggiungimento degli obiettivi, in linea con la visione degli attori. Essa deve infatti aiutare i soggetti interessati a prendere decisioni su come impostare , gestire e rivedere la strategia, ottimizzando gli effetti positivi e limitando quelli negativi rispetto alle varie dimensioni della sostenibilità, anche tenendo conto di come questi effetti si distribuiscono tra i vari attori direttamente o indirettamente coinvolti.

Valutare un’iniziativa RVPC può servire a diversi scopi specifici:

• Misurare l’efficacia di un’iniziativa RVPC, monitorarne il progresso nel tempo e apportare eventuali modifiche correttive;
• Identificare punti di forza e di debolezza dell’iniziativa, e confrontare e condividere pratiche con iniziative simili in altri contesti territoriali, regioni o paesi;
• Coinvolgere la comunità locale, migliorando la credibilità e la visibilità dell’iniziativa in seno ad essa e il supporto, la partecipazione e il senso di appartenenza all’iniziativa.
• Dimostrare in modo documentato (accountability) il valore generato ai portatori di interesse pubblici e/o privati che hanno sostenuto l’iniziativa e ai decisori politici.

La valutazione non è un’attività neutra. Essa è sempre influenzata da chi lancia la valutazione (l'iniziatore) e da chi la attua (il responsabile), ed è orientata, implicitamente o esplicitamente, da valori e principi che devono essere chiaramente definiti e resi trasparenti prima dell'inizio della stessa. Per evitare un'eccessiva autoreferenzialità, le valutazioni dovrebbero essere ispirate e orientate da valori generali definiti al di fuori del sistema del paesaggio culturale oggetto di osservazione, come, ad esempio, quelli degli Obiettivi di Sviluppo Sostenibile (SDGs) delle Nazioni Unite.

Inoltre, si deve tenere conto che la valutazione può diventare uno strumento di potere che alcuni attori possono utilizzare per perseguire i propri interessi e obiettivi personali, concentrandosi su alcuni effetti dell'iniziativa RVPC e trascurandone deliberatamente altri. Poiché il patrimonio culturale è un bene collettivo locale, e le iniziative RVPC sono concepite come strumenti per la promozione dello sviluppo locale e sostenibile, esse dovrebbero essere valutate in base ai principi di inclusività, rappresentatività, equità e sostenibilità.

Per una valutazione efficace, tutte le categorie di stakeholder interessate dovrebbero essere incluse nella valutazione (compresi coloro che non possono accedere alla costruzione o gestione dell'iniziativa) attraverso un approccio partecipativo alle diverse fasi del processo di valutazione, utile ad armonizzare interessi non convergenti o addirittura conflittuali, a facilitare la condivisione di informazioni tra soggetti e gruppi di soggetti diversi, all’elaborazione di nuove proposte e iniziative, e ad aumentare la consapevolezza dei diversi attori sulle tematiche oggetto delle iniziative. Una vera inclusione nel processo di valutazione non può essere raggiunta senza l'empowerment di tutte le categorie di attori coinvolte, tra cui in particolare gli attori più marginali (per età, genere, condizioni socio-economiche e culturali, limitazioni funzionali, ecc.), che spesso non sono neppure consapevoli dell’esistenza dell'iniziativa.

Le iniziative RVPC sono inoltre in grado di modificare la distribuzione del potere e degli effetti positivi e negativi tra i diversi attori interessati alla componente del patrimonio culturale oggetto dell’iniziativa. Pertanto, la valutazione dovrebbe tenere in debito conto sia la distribuzione dei benefici e dei costi dell’iniziativa tra gli attori, che eventuali fenomeni di esclusione di attori meno forti (cioè meno dotati di risorse, conoscenze e capacità finanziarie). 

Infine, le iniziative RVPC sono di norma fortemente legate a una molteplicità di aspetti economici, sociali, ambientali, istituzionali e culturali del territorio, tra loro strettamente interconnessi, ed è opportuno quindi garantire che l'ambito della valutazione includa questo complesso di potenziali effetti, molti dei quali possono anche essere non desiderati o inaspettati.

La valutazione come processo

La valutazione è un processo che coinvolge molte azioni interconnesse. Essa è articolata in alcune fasi che è importante tenere separate sia dal punto di vista metodologico che operativo: (i) ideazione e progettazione, che riguarda la definizione dell’ambito di applicazione e degli obiettivi, (ii) analisi dei fatti, che consiste nella raccolta e successiva organizzazione dei dati, (iii) giudizio, che riguarda l’interpretazione dei dati raccolti e costituisce la valutazione in senso stretto.

 

Valutazione prospettica e retrospettiva

Inoltre, la valutazione è necessaria tanto prima della progettazione e attuazione di un'iniziativa RVPC (ex-ante), quanto durante e dopo l'attuazione dell’iniziativa stessa (ex-post), e dunque valutazione prospettica (ex-ante) e retrospettiva (ex-post) devono essere considerate come fasi dello stesso processo ed essere tra loro strettamente integrate:

• La valutazione prospettica (ex-ante) ha l’obiettivo di decidere se attivare o meno un’iniziativa RVPC e, in caso affermativo, di supportare la definizione delle modalità di realizzazione e gestione della stessa, prevedendo gli effetti che dell'iniziativa su varie dimensioni e attori, e cercando di minimizzarne gli effetti negativi e massimizzarne quelli positivi;
• La valutazione retrospettiva (ex post), invece, considera gli effetti reali dell’iniziativa RVPC in atto sulle diverse dimensioni, allo scopo di comprendere e misurare cosa è successo, o sta succedendo, come risultato dell'iniziativa stessa, analizzare le cause dei fallimenti e dei successi, e determinare eventuali azioni correttive e migliorative.

La necessità di comparazione

Per analizzare gli effetti di una qualsiasi iniziativa RVPC è necessario un termine di paragone, che di norma dovrebbe essere una situazione del tutto simile a quella su cui impatta l’iniziativa ma in cui l'iniziativa è assente. Esistono due approcci di base per rendere possibile tale comparazione, diacronico e sincronico.

L’approccio diacronico si basa sul confronto dello stato dell’oggetto di intervento e del sistema di cui fa parte rilevato prima e dopo l'iniziativa.

L’approccio sincronico si basa invece sul confronto tra il paesaggio culturale o sistema territoriale dove viene realizzata l’iniziativa ed un altro paesaggio culturale o sistema territoriale del tutto simile ma dove non viene realizzata l’iniziativa, definito “controfattuale”.

Data la difficoltà di individuare un controfattuale del tutto simile al contesto in cui viene attuata l'iniziativa e di isolare gli impatti dell’iniziativa, nel contesto delle iniziative RVPC deve ritenersi preferibile l'approccio diacronico, integrato laddove possibile e soltanto per specifici aspetti selezionati da un approccio sincronico.

 

Le catene di causalità degli effetti

Gli effetti di un'iniziativa RVPC dipendono dal contesto in cui questa si realizza e sono influenzati da molti eventi e variabili esogene, per cui non è facile isolare gli effetti di un’iniziativa RVPC da quelli di altre variabili che influenzano il paesaggio culturale e il relativo sistema territoriale.

Per tenere conto dell’intensità del nesso causale tra l’iniziativa RVPC (input) e l’effetto da essa generato, è utile distinguere tra effetti di primo, secondo e terzo ordine.

Gli effetti di primo ordine (output) sono i primi e immediati effetti dell’iniziativa RVPC e sono dunque relativi al suo livello di attuazione e/o di utilizzo effettivo.

Gli effetti di secondo ordine (outcomes) sono i risultati diretti generati dall’iniziativa sugli attori e sul sistema socio-economico-territoriale coinvolti.

Gli effetti di terzo ordine (impacts) sono le conseguenze indirette dell’iniziativa, desiderate e non desiderate, che derivano dall’iniziativa ma non direttamente prodotte dalla stessa e il cui collegamento causale all’iniziativa è più distante.

 

L'integrazione di metodi qualitativi e quantitativi

Per la complessità e multidimensionalità delle iniziative RVPC, è utile integrare nella valutazione una combinazione di metodi e punti di vista differenti.

Dal punto di vista metodologico, è utile integrare metodi di valutazione oggettivi (quantitativi), e soggettivi (qualitativi). I metodi oggettivi si basano su dati quantitativi misurabili, che tuttavia non sempre sono disponibili o significativi per il sistema di paesaggio culturale osservato, mentre quelli soggettivi raccolgono percezioni e opinioni degli attori coinvolti, ma possono essere influenzati da fattori personali, socio-economici e dalle preferenze individuali che possono quindi portare a distorsioni nei risultati della valutazione. Per questo si consigliano approcci misti che combinino metodi oggettivi e soggettivi, che consentano di misurare ciò che è accaduto con dati quantitativi ed esaminare come e perché è accaduto con strumenti qualitativi.

 

L'integrazione di diversi punti di vista dei portatori di interesse

Dal punto di vista metodologico, è utile integrare metodi di valutazione oggettivi (quantitativi), e soggettivi (qualitativi). I metodi oggettivi si basano su dati quantitativi misurabili, che tuttavia non sempre sono disponibili o significativi per il sistema di paesaggio culturale osservato, mentre quelli soggettivi raccolgono percezioni e opinioni degli attori coinvolti, ma possono essere influenzati da fattori personali, socio-economici e dalle preferenze individuali che possono quindi portare a distorsioni nei risultati della valutazione. Per questo si consigliano approcci misti che combinino metodi oggettivi e soggettivi, che consentano di misurare ciò che è accaduto con dati quantitativi ed esaminare come e perché è accaduto con strumenti qualitativi.

Gli effetti che un’iniziativa RVPC può generare riguardano un grande numero di aspetti e impattare su soggetti diversi, a seconda delle caratteristiche, modalità di elaborazione e gestione dell’iniziativa e delle specificità del contesto in cui viene realizzata.

Per questo è necessaria una mappatura degli effetti dell’iniziativa oggetto di valutazione, al fine di considerare quanto più possibile tutti i potenziali effetti - attesi e non attesi, desiderati e non desiderati – che essa potrebbe generare o aver generato.  

Una mappa degli effetti di un’iniziativa RVPC ricostruisce gli impatti (attesi o generati) dell’iniziativa, considerando le diverse dimensioni della sostenibilità: economica, sociale, ambientale, istituzionale e di governance, culturale …

All’interno di ciascuna dimensione della sostenibilità, è poi opportuno individuare delle aree di impatto generali, a loro volta composte da una o più sotto-aree. Le aree di impatto hanno lo scopo di raggruppare categorie di effetti simili che devono essere analizzati durante la valutazione. Nella definizione delle aree di impatto è utile anche identificare l’ordine di causalità dei diversi impatti/effetti (si veda paragrafo 6.3.3 “Le catene di causalità degli effetti”).

Per identificare le aree di impatto, si possono utilizzare diversi metodi partecipativi volti a coinvolgere i diversi portatori di interesse, facilitandone l'interazione, ad esempio mediante focus group o world cafè.

Per ciascuna sotto-area di impatto è necessario poi individuare i possibili indicatori qualitativi e/o quantitativi. La scelta di indicatori appropriati è di fondamentale importanza nel processo di valutazione. Essa dovrebbe portare a individuare, anche ispirandosi a set di indicatori già esistenti e adottati a livello internazionale, un numero non eccessivo di indicatori che possiedano le seguenti caratteristiche: pertinenza e rilevanza rispetto ai principali effetti potenziali dell'iniziativa RVPC, reattività e capacità di adattarsi ai cambiamenti dei fenomeni osservati, non ridondanza, rappresentatività degli effetti tangibili e intangibili dell'iniziativa RVPC, facili da comprendere e interpretare da parte degli stakeholder. Essi dovrebbero poi essere associabili a dei livelli di riferimento, in modo da consentire il confronto (benchmarking), e dovrebbero essere facili e non eccessivamente costosi da misurare.

Di seguito si riporta un esempio di struttura ad albero di una mappa degli effetti attesi di una generica iniziativa RVPC (Fig. 1). Nel Documento allegato si trovano alcune mappe esemplificative relative ad alcune macro-tipologie di iniziativa RVPC. Le mappe esemplificative degli effetti attesi riportare in questa Guida e negli approfondimenti ad essa correlati, sono pensate come uno strumento flessibile che serva da guida agli attori locali che intendono intraprendere un percorso di valutazione partecipativa di un’iniziativa RVPC. Esse dovranno essere modificate e adattate alle caratteristiche dell’iniziativa valutata e delle esigenze degli attori valutanti.

 

                                           

    ^{Figura 1. Mappa degli effetti attesi: esempio di struttura ad albero orizzontale. (Fonte: elaborazione degli autori).}

La valutazione di iniziative RVPC non è un'attività improvvisata, bensì un processo che richiede lo svolgimento di un insieme articolato e interconnesso di attività suddivise in tre principali macro-fasi (Fig. 2): pianificazione strategica, pianificazione operativa, e attuazione.

 

                                           

                      ^{Figura 2. Il processo di valutazione e le sue fasi. (Fonte: adattato da Belletti e Marescotti, 2022).}

 

La pianificazione strategica

La pianificazione strategica ha l’obiettivo di attivare il processo di valutazione, ed è guidata dall'iniziatore della valutazione, ovvero la persona o l'organizzazione che vuole che la valutazione sia effettuata, attiva il processo di valutazione, ne definisce la portata e gli obiettivi generali, identifica gli stakeholder e il loro grado di coinvolgimento, fornisce le risorse e decide chi svolgerà la fase operativa del processo di valutazione (il responsabile/manager). Le decisioni prese durante la fase strategica sono riportate nel Mandato di valutazione (Terms of Reference, ToR), che rappresenta il documento di riferimento per l'attuazione delle fasi operative di pianificazione e di attuazione. Di solito, l'iniziatore della valutazione è anche l'iniziatore dell'iniziativa RVPC, o il suo sostenitore finanziario (per esempio, un ente pubblico, un'agenzia di sviluppo locale, una ONG o una Fondazione). La chiara identificazione dell'iniziatore è importante per garantire la trasparenza di tutte le attività, in quanto gli obiettivi della valutazione dipenderanno fortemente dalle esigenze e dagli obiettivi del soggetto avviatore.

 

La pianificazione operativa

La fase operativa riguarda la pianificazione della gestione del processo di valutazione ed è affidata in termini operativi ad un responsabile/manager (una persona singola, oppure un team nei casi più complessi) che deve individuare l’insieme delle competenze e delle capacità necessarie, costituire il gruppo di valutazione, e mettere a punto i quesiti di valutazione, garantendo che la valutazione sia condotta in linea con gli obiettivi indicati nelle Mandato di valutazione. Il responsabile elabora il Piano di valutazione, documento che rende operativo il Mandato di valutazione, ed in seguito attua e gestisce la valutazione secondo tale piano, durante la fase di attuazione.

 

L'attuazione

La fase di attuazione della valutazione consiste nell’implementazione delle attività previste nel Piano di valutazione. A seconda che l’iniziativa RVPC sia già in corso, o conclusa, oppure che sia ancora in fase di progettazione ed elaborazione, si applicherà rispettivamente la valutazione retrospettiva (ex-post) oppure prospettica (ex-ante).

Queste due tipologie di valutazione hanno obiettivi diversi e presentano quindi problematiche specifiche che richiedono a loro volta l’impiego di tecniche di indagine specifiche (si veda “Valutare gli interventi di recupero e valorizzazione del paesaggio culturale”, capitoli 6-7). Tuttavia, entrambe le tipologie di valutazione si articolano in tre macro-fasi di lavoro comuni, ovvero: analisi preliminare delle componenti del paesaggio culturale e dell’iniziativa RVPC; mappatura sistematica e valutazione dell’entità degli effetti; riflessione e decisione da parte dell’iniziatore e degli stakeholder coinvolti sulle azioni da intraprendere.

La prima macro-fase consiste in un’analisi preliminare della componente/i del paesaggio culturale coinvolte nell’iniziativa in oggetto, della loro evoluzione nel tempo nonché dei loro punti di forza, debolezza, opportunità e minacce (analisi SWOT), per capire come funziona il sistema di PC in questione e quali sono le sue principali caratteristiche (economiche, sociali, ambientali, culturali, e di governance).

La seconda macro-fase consiste nella mappatura e valutazione degli effetti potenziali o di quelli effettivamente verificatisi dell’iniziativa RVPC, con l’ausilio delle mappe degli effetti potenziali presentate nel paragrafo 6.4:

• nel caso della valutazione prospettica, questa fase consiste nella descrizione analitica dell’iniziativa RVPC che si intende realizzare e nell’individuazione delle possibili alternative strategiche in merito alle modalità di disegno, funzionamento e gestione della stessa, individuando gli effetti potenziali associabili a ciascuna alternativa di realizzazione dell’iniziativa RVPC, inclusa l’ipotesi di non realizzazione della stessa.
• nel caso della valutazione retrospettiva, invece, la mappatura consiste nella descrizione, basata sull'evidenza empirica, di ciò che è accaduto in seguito all’iniziativa RVPC nel sistema del PC e nel territorio coinvolti e nella sua successiva interpretazione, con l'obiettivo di identificare gli effetti generati rispetto alla situazione di partenza (baseline).

La terza macro-fase riguarda la riflessione sull’esito della valutazione e la presa di decisione in merito all’iniziativa RVPC in questione:

• nella valutazione prospettica, gli scenari emersi dovranno essere elaborati e discussi, costruendo piani alternativi o complementari per poi giungere ad una decisionale finale sull’iniziativa RVPC.
• Nella valutazione retrospettiva, invece, occorre individuare e analizzare le aree critiche di performance, ovvero quelle aree di impatto che riportano molti indicatori con un valore inferiore a quello precedente all'implementazione dell'iniziativa RVPC e a quello obiettivo dell’iniziativa, cercando di comprenderne le ragioni e identificando possibili azioni correttive.

In entrambe le tipologie di valutazione (ex-ante e ex-post), le indicazioni scaturite rappresentano una base importante di informazione per il soggetto responsabile dell’iniziativa, che potrà stabilire come pianificare l’attuazione/operatività dell’iniziativa.