Back to the project list

AI for Digital Humanities

Digital Humanities è un termine che si sta diffondendo ovunque nel mondo occidentale per indicare quella disciplina emergente che si pone in un punto di congiunzione tra le tecnologie digitali ed informatiche e le discipline umanistiche.

Il termine nasce per indicare nuovi centri di studio interdisciplinari e nuovi strumenti per fornire vie innovative, intrinesecamente digitali, per creare conoscenza “that involve collaborative, transdisciplinary, and computationally engaged research, teaching, and publishing. It brings digital tools and methods to the study of the humanities with the recognition that the printed word is no longer the main medium for knowledge production and distribution” (A.Burinick et al., Digital Humanities 2012)

In questo ambito, oltre alle naturali competenze umanistiche, storiche ed artistiche, sono sempre più necessarie competenze tecnologiche di avanguardia quali quelle nei settori delle Information Technologies ed specificatamente nei nuovi sistemi e soluzioni che, dopo la digitalizzazione dei beni, ne favoriscano lo sfruttamento ed un’intelligente creazione di nuova conoscenza.

Il progetto "AI for Digital Humanities" si orienta alle promettenti attività di ricerca in ambito delle analisi dei media, della computer vision e della pattern recognition, della comprensione dei video e del testo e del linguaggio naturale, dell’intelligenza artificiale e dell’apprendimento automatico, temi che ora stanno diventando pervasivi in molti ambiti e che possono dare un contributo straordinario alle nuove sperimentazioni in ambito museale, storico-artistico, turistico e culturale.

Il progetto vuole affrontare diverse sfide per:

a)      Portare tecnologie emergenti nella quotidianità degli studi umanistici e nella fruizione della cultura e dell’arte, dei dati e delle biblioteche digitali per esperti, studiosi e turisti; in questo ambito si fornirà un supporto di competenze per accompagnare i siti museali e culturali verso un percorso di digitalizzazione, impiego e sfruttamento delle tecnologie, anche in collaborazione con i soggetti incaricati alle attività di digitalizzazione.

b)      Diffondere conoscenza sulle tecnologie digitali e sulle potenzialità per uno sfruttamento positivo, sia economico sia sociale dei beni culturali e per favorirne un eco-sistema di conoscenza ed innovazione sociale; si favorirà lo scambio culturale e la formazione congiunta anche attraverso strumenti di scuole di specializzazione o Master e la diffusione a livello cittadino, nazionale ed internazionale.

c)      Produrre nuova ricerca scientifica, di rilevanza internazionale su diverse tecnologie innovative in campo informatico, con specifico riferimento alla intelligenza artificiale per l’estrazione di conoscenza, alla analisi automatica di dati visuali e multimediali che possano essere sfruttanti in ambito delle Digital Humanities e dei beni culturali.

Si delinea quindi qui un percorso progettuale di innovazione, diffusione e di ricerca comune e stabile nel tempo in cui si possano affiancare esperti e ricercatori nelle tecnologie dei media a esperti nei settori delle humanities, non solo accademici, sia pubblici sia privati, in una stretta collaborazione progettuale con la città e con enti pubblici quali musei, gallerie o sistemi di gestione dei beni culturali. Un esempio eclatante nella nostra città sono le rinnovate strutture museali delle Gallerie Estensi che anche per la loro natura multimodale (la Biblioteca, la Pinacoteca, il polo architettonico, le diverse sedi di Modena Sassuolo e Ferrara) ben si prestano a sperimentazioni avanzate.

In questo ambito, il presente progetto di ricerca risulta determinante se inquadrato in un più ampio ecosistema innovativo costituito dagli attori coinvolti nelle attività di digitalizzazione e divulgazione del patrimonio di GE e in particolare costituito da: GE, AImagelab, ricercatori di discipline umanistiche a disposizione di GE e da altri soggetti pubblici e privati coinvolti da GE nelle attività di digitalizzazione.

Attività previste

E’ indubbio che i beni culturali, nel loro ciclo di studio di gestione e di fruizione necessitano di tecnologie informatiche.  L’uso di Internet e nel Web per la conoscenza, la catalogazione ed il confronto è stato ormai sdoganato dalla cultura umanistica. L’impiego di sistemi informativi per la gestione dei beni o di BIM (Building Information Modeling) per la gestione, la conservazione di beni anche architettonici si sta piano piano diffondendo anche in Italia e i modelli di fruizione più moderni non possono esimersi dall’impiegare tecnologie informatiche per le visite guidate virtuali, immersive, aumentate e per un maggior coinvolgimento dello spettatore.

Il progetto però vorrebbe andare oltre e rappresentare un punto di riferimento per le tecnologie di domani applicate alle Digital Humanities.  

Per prima cosa, si vuole affrontare il problema dei dati digitalizzati, provenienti da biblioteche storico- artistiche, da codici miniati, da beni 3D digitalizzati o anche di beni nativi digitali (come la fotografia o la video-arte). L’analisi di documenti storico-artistici, di beni culturali tangibili 2D e 3D digitalizzati o nativi di collezioni multimediali  non necessitano più soltanto sistemi di gestione dei dati, di archiviazione e ricerca, che pure ne sono il fondamento di base, Biblioteche, Gallerie e Musei hanno sempre più  bisogno degli strumenti più avanzati dell’Intelligenza Artificiale (AI) per rappresentare e conoscere un patrimonio dinamico e interconnesso di cultura e conoscenza, per ottenere strumenti naturali di accesso e studio, per apprendere stili di conoscenze e di linguaggio e modelli di interpretazione in modo automatico o semi-automatico e avvicinare ricercatori, esperti  nei BBCC, studenti , interessati e turisti in una interazione efficace e moderna  alla cultura digitale o digitalizzata.

Molti strumenti di base nell’analisi multimediale sono già in uso da tempo: molti sono impiegati nei sistemi informatici culturali per una multi-digitalizzazione ed annotazione multimediale di beni dematerializzati, per gestire standard documentali definiti o standard de-facto, per la preservazione e conservazione dei beni, per supportare la ricerca, la ricostruzione 3D, l’analisi del contenuto.

Alcuni strumenti di AI e di visione artificiale sono ora impiegati dalle grandi aziende informatiche che  si occupano di Digital Humanity, prime tra tutte Google con Google Art Project e Amazon con Amazon Digital Book project. Diversi esperimenti in Italia sono stati studiati e realizzati in fase prototipale ed in particolare in UNIMORE. Risultati di progetti come RERUM NOVARUM per i codici miniati, o di SACHER per i modelli architettonici 3D ne sono alcuni esempi. 

Per questo si intende proporre un programma di ricerca pluriennale in questo ambito, affiancando le competenze di Ingegneria Informatica a quelle Umanistiche di UNIMORE e sposando le esigenze culturali del territorio modenese ed in particolare delle Gallerie Estense.

Qui a seguito si intende proporre la parte tecnologica del progetto ed il possibile contributo da parte del Dipartimento di Ingegneria Enzo Ferrari e dai ricercatori di AImagelab, che può essere riassunta in alcune attività:

  1. Studio dei problemi di digitalizzazione e di multi-digitalizzazione, in chiave multimediale, multimodale e cross-mediale (con supporto specifico al patrimonio modenese nelle Gallerie Estensi).
  2. Studio dei formati di archiviazione e di preservazione dei beni digitali, nonche’ di interrogazione ed accesso.
  3. Studio dei problemi di sistemi, anche innovativi, di archiviazione ed accesso di beni documentali digitalizzati non tradizionali, quali documenti cartacei dal layout complesso (come i Codici Muratoriani), documenti digitali di grandi dimensioni (Carte Geografiche) e documenti musicali rinascimentali e barocchi.
  4. Studio dei problemi afferenti la progettazione orientata al reuse-by-design, per l’accesso naturale, il riuso dei documenti e delle loro parti, e allo sfruttamento economico e sociale dei beni culturali, sia per fini storico-artistici, sia per fini culturali e commerciali più ampi, dal turismo, all’education, fino all’editoria e alla pubblicità.
  5. Analisi e raccordo delle attività con il Sistema di DH di GE, con l’obiettivo di condividere i risultati delle attività 1-4 e di identificare un capitolato di deliverables interfacciabili con l’infrastruttura software e hardware de Sistema DH di GE.
  6. Progettazione di sistemi di AI per l’apprendimento automatico dalle competenze degli esperti in supporto a sistemi di ricerca avanzata, per la annotazione automatica dei dati digitalizzati per favorire un accesso diffuso ed efficace, in collegamento con la conoscenza culturale diffusa su internet e sugli archivi internazionali.
  7. Sviluppo di modelli di Machine Learning (ed in particolare di tipo Deep Learning DL) e di visione artificiale per il riconoscimento automatico dei contenuti visuali e per una sua descrizione automatica in linguaggio naturale. Questa attività è nota come Image o video captioning e sta dando i primi risultati nella ricerca su dati visuali generici e dovrà essere sviluppata specificatamente per i dati di tipo culturale, artistico e storico
  8. Sviluppo di modelli di AI e di Pattern Recognition, affiancato al DL per il riconoscimento e l’analisi della interazione tra persone e cose, tra turisti ed esperti ed i beni culturali per fornire strumenti automatici, adattabili e personalizzabili (non alle categorie di utenti ma ai singoli)
  9. Studio e ricerca di strumenti innovativi di AI per la comprensione dei beni pittorici, figurativi ed iconografici, sia nelle collezioni nelle pinacoteche delle Gallerie Estensi, sia nelle collezioni manoscritte e meno conosciute.
  10. Avvio di nuove ricerche di AI e Deep Larning per la comprensione e la ricostruzione iconografica e figurativa, 2D e 3D soprattutto in riferimento all’essere umano, al singolo e alla collettività, ai costumi alla moda e alle azioni dipinte nel patrimonio rinascimentale e barocco delle collezioni, utili per comprensione, datazione ed attribuzione delle opere.
  11. Diffusione della conoscenza e delle potenzialità del Digital Humanities sul territorio con azioni specifiche di internazionalizzazione della ricerca e di divulgazione della conoscenza prodotta a studenti ed insegnanti, anche in coordinamento con il Sistema DH di GE.

Si prevede inoltre la possibilità di uno studio di ampio respiro interdisciplinare con collegamento con centri di ricerca Italiani ed Internazionali, quali la Penn University (prof. Yia Li), l’University of Tokyo (prof. Katsuki Ikeuchi), University of TU WIEN (prof. Andreas Rauber), University of Amsterdam (prof. Theo Gevers, prof. Cees Snoek), il Lab Facebook AI Research, ed Amazon Research (prof. Gerard Medioni).

Il progetto avrà un forte impatto sociale e prospettive di diffusione in primis a livello cittadino e poi come esempio pilota a livello nazionale. L’impatto sociale nasce dalla volontà di

  • Contribuire ad una gestione moderna, attenta e lungimirante del patrimonio culturale nella sua forma digitalizzata o nella sua forma nativa digitale
  • Creare nuove forme di fruizione di beni culturali attraverso modelli di ricerca e di accesso al patrimonio adattativi e innovativi
  • Creare nuova forma di conoscenza, di associazioni storico-culturali e quindi nuova forma di cultura
  • Creare strumenti nuovi per la educazione dei giovani e l’avvicinamento della cultura umanistica a quella scientifica anche nell’ottica dello sfruttamento economico-sociale dei beni culturali comuni
  • Creare strumenti nuovi di cultura non solo per esperti o studiosi ma anche per cittadini e turisti, valorizzando il patrimonio artistico-storico del territorio.

Il progetto nasce con finalità di ricerca estremamente innovativa nell’ambito dell’intelligenza artificiale, della analisi di dati visuali e multimediali con dirette ricadute scientifiche in primis ma con evidenti ricadute sul territorio, sia come detto nell’aspetto sociale sia nell’aspetto economico produttivo favorendo la creazioni di nuove imprese innovative e dando opportunità di reti tra gli enti del territorio.



Publications

1 Baraldi, Lorenzo; Cornia, Marcella; Grana, Costantino; Cucchiara, Rita "Aligning Text and Document Illustrations: towards Visually Explainable Digital Humanities" Proceedings of the 24th International Conference on Pattern Recognition, Beijing, China, pp. 1097 -1102 , August 20th-24th, 2018, 2018 | DOI: 10.1109/ICPR.2018.8545064 Conference
2 Carraggi, Angelo; Cornia, Marcella; Baraldi, Lorenzo; Cucchiara, Rita "Visual-Semantic Alignment Across Domains Using a Semi-Supervised Approach" European Conference on Computer Vision (ECCV) Workshops, Munich, Germany, 8-14 September 2018, 2018 Conference
3 Tomei, Matteo; Baraldi, Lorenzo; Cornia, Marcella; Cucchiara, Rita "What was Monet seeing while painting? Translating artworks to photo-realistic images" European Conference on Computer Vision (ECCV) Workshops, Munich, Germany, 8-14 September 2018, 2018 Conference

Project Info

Staff:

Duration:

15/01/2018 -

Funded by:

Fondazione Cassa di Risparmio di Modena