· Book Chapter
Archivi dei disegni di architettura: Fruizioni contemporanee

Surprise Machines: visualizzare le immagini d’archivio degli Harvard Art Museums

Dario Rodighiero, Lins Derry, Douglas Duhaime, Jordan Kruguer, Maximilian C. Mueller, Christopher Pietsch, Jeffrey T. Schnapp, Jeff Steward, metaLAB.. Ed. Alekos Diacodimitri, Barbara Tetti

Surprise Machines è un progetto di museologia sperimentale che rende visibile l’insieme delle immagini d’archivio conservate nei musei d’arte dell’Università di Harvard, in inglese Harvard Art Museums. Con l’idea di rendere visibile ai visitatori dei musei una collezione di più di 200.000 oggetti, la ricerca esplora potenzialità e limiti dell’intelligenza artificiale nel rappresentare un grande insieme di immagini. Inserito nell’esposizione Curatorial A(i)gents, organizzata dal metaLAB (at) Harvard, il progetto ha il fine ultimo di stupire rivelando l’estensione di un archivio non direttamente accessibile ai visitatori dei musei. Per amplificare questo effetto di sorpresa, l’installazione museale è arricchita da un’interfaccia coreografica che collega la gestualità dei visitatori a sguardi unici sulla collezione di immagini.

Introduzione

Sebbene le discipline umanistiche si siano finora concentrate su testi letterari, registri storici e dati spaziali, i recenti avanzamenti nell’intelligenza artificiale stanno attirando maggiore attenzione verso altri media. Discipline come le digital humanities, ad esempio, ora abbracciano corpora più diversificati, mentre nei musei questa transizione è rappresentata dalle ricerche in museologia sperimentale.

Il progetto si focalizza sulla visualizzazione di immagini digitali in grandi archivi. Seguendo un crescente interesse dimostrato da articoli scientifici, tesi di dottorato, software e presentazioni, questo testo presenta una ricerca situata all’intersezione di design dell’informazione, museologia sperimentale e analisi culturale.

Il progetto Surprise Machines ha al suo centro una visualizzazione dati che mappa oltre 200.000 immagini degli Harvard Art Museums, presentata attraverso un’installazione museale per permettere ai visitatori di vedere e comprendere l’estensione degli archivi dei musei. Parte di un’esposizione temporanea organizzata da metaLAB (at) Harvard e intitolata Curatorial A(i)gents, i visitatori dei musei possono interagire con la visualizzazione attraverso un’interfaccia coreografica basata sui gesti del corpo. Il progetto è unico per la sua interdisciplinarità, che combina una prestigiosa collezione d’arte con le più recenti tecniche di intelligenza artificiale.

Nelle seguenti sezioni, il testo introduce il lettore a: 2) il museo e la sua collezione, 3) la filosofia curatoriale della mostra, 4) la visualizzazione dati, 5) il software per l’interazione coreografica, e 6) le problematiche tecniche affrontate dal gruppo di ricerca.

Harvard Art Museums

La storia degli Harvard Art Museums inizia nel 1891 con una generosa donazione della signora Elizabeth Fogg per fondare un museo in memoria di suo marito. Pochi anni dopo, l’architetto Richard Morris Hunt progettò il Fogg Art Museum, che aprì al pubblico nel 1895. A distanza di cento anni da questa data, in un volume celebrativo, il direttore del museo James Cuno descrive la rapida crescita delle collezioni d’arte segnalando più di 450 nuovi spazi espositivi e più di 100 estensioni museali; in questo periodo di crescita, l’Università di Harvard non fu un’eccezione, ampliando gli spazi espositivi del Arthur M. Sackler Museum e del Busch-Reisinger Museum. Solo nel 1983 queste due collezioni vengono integrate a quella del Fogg Art Museum, quando le tre istituzioni si uniscono sotto il nome di Harvard Art Museums.

Al giorno d’oggi, la collezione degli Harvard Art Museums ha superato le 200.000 opere. Nonostante le estensioni fatte negli anni, questa continua crescita ha obbligato a un completo rinnovamento dell’edificio, operato dell’architetto Renzo Piano nel 2014. Dopo la demolizione delle espansioni post-1925, Piano integra una nuova area espositiva rivolta verso Prescott Street all’esistente edificio di Quincy Street, aggiungendo una copertura in vetro per portare luce naturale nelle gallerie, nei laboratori e nel cortile in marmo di Travertino.

Di pari passo a questa continua crescita delle collezioni, il digitale ha fatto il suo ingresso nel mondo museale, aumentando la capacità archivistica. Haidy Geismar descrive questa trasformazione con il termine “zona di contatto”, un punto in cui le opere e la tecnologia si incontrano nella forma di cataloghi online, siti web e piattaforme digitali. Durante questa transizione, per esempio, gli Harvard Art Museums hanno sviluppato un archivio digitale che colleziona quasi 240.000 oggetti corredati da immagini, titoli, descrizioni, attribuzioni, date, classificazioni, crediti, autori, soggetti, media, dimensioni e provenienze. Questi oggetti sono accessibili online attraverso il protocollo IIIF per la condivisione di immagini e metadati.

Negli Harvard Art Museums, la zona di contatto tra collezioni digitali e tecnologie avviene nello spazio multimediale chiamato Lightbox Gallery. Situata all’ultimo piano, lo spazio prende il nome dalla luce proveniente dalla copertura in vetro dell’ultimo rinnovamento. Concepito dal museo in collaborazione con il metaLAB, lo spazio è caratterizzato da un grande schermo a muro composto da nove monitor interconnessi. Adattandosi perfettamente alla definizione di museologia sperimentale, la Lightbox Gallery è un luogo di sperimentazione per progetti basati su nuovi media e tecnologie emergenti con l’idea di connettere i visitatori alla dimensione digitale della collezione.

Possono le macchine sostituire i curatori?

Nella primavera del 2022, la Lightbox Gallery ospita l’esposizione Curatorial A(i)gents. Basata su un approccio critico all’intelligenza artificiale, l’esposizione presenta una serie di installazioni di durata settimanale, create dai membri del metaLAB. La filosofia curatoriale della mostra appare in un opuscolo progettato da Chelsea Qiu, che sviluppa un originale metodo di lettura compositiva basato sulle piegature del foglio. Al suo interno, il direttore del metaLAB Jeffrey Schnapp rivela il significato di Curatorial A(i)gents associando il curatore — tramite tra collezioni e programmazione — al neologismo “a(i)gent”, attraverso un gesto d’intrusione in un territorio modellato dall’intelligenza artificiale. Schnapp va quindi al cuore della questione formulando la domanda: possono le macchine sostituire i curatori? L’approccio provocatorio, solitamente impiegato per evidenziare le disuguaglianze digitali e i pregiudizi tecnologici, è in questo caso traslato per indagare nuove pratiche curatoriali attraverso l’intelligenza artificiale.

In questo contesto, Surprise Machines deve il suo nome al gioco d’imitazione di Alan Turing, descritto nell’articolo pionieristico Computing Machines and Intelligence. Alla domanda se le macchine possono pensare, Turing risponde con un esperimento in cui una persona cerca di distinguere tra umani e macchine comunicando attraverso una macchina da scrivere; la macchina è considerata intelligente quando le sue risposte appaiono indistinguibili da un umano. Nell’articolo, Turing sviluppa un’interessante argomentazione che tocca diversi esempi, uno dei quali si riferisce alla matematica inglese Ada Lovelace. Contrapponendosi al pensiero di Lovelace secondo cui le macchine sono incapaci di sorprenderci perché incapaci a pensare, Turing afferma che le macchine sono una fonte di continuo stupore a causa del loro comportamento imprevedibile — che spesso sorprende l’utilizzatore.

Ispirandosi a questo sentimento di sorpresa, Surprise Machines cerca di stupire i visitatori del museo presentando circa 213.000 oggetti della collezione degli Harvard Art Museums. Inizialmente, il visitatore è stupito nel realizzare la grandezza della collezione; successivamente, il visitatore riflette sul piccolo numero di oggetti esposti nel museo — una stima rapida dal sito web dimostra che meno dell’un percento degli oggetti è stato esposto nel corso degli anni.

Come visualizzare 200.000 immagini

Fin dall’inizio, si è pensato che Curatorial A(i)gents avesse bisogno di un progetto focalizzato all’intera collezione degli Harvard Art Museums. Se la cupola del Reichstag giocava sull’analogia della trasparenza politica, la copertura trasparente di Piano poteva ispirare una visualizzazione dati per gettare luce sull’intero archivio del museo.

La visualizzazione dati è una pratica di design computazionale volta a trasformare dati tabellari in più comprensibili informazioni visive. Questo processo di traduzione, tuttavia, può risultare impegnativo quando applicato su basi dati relazionali complesse come nel caso delle reti. Manuel Lima è stato probabilmente tra i primi autori ad affrontare questo argomento creando un archivio online di visualizzazioni dati caratterizzate da una certa complessità. Dieci anni dopo la pubblicazione del suo libro Visual Complexity, il panorama della network visualization è cambiato notevolmente grazie allo sviluppo di un linguaggio visivo a cui hanno contribuito accademici conosciuti in tutto il mondo come Albert-László Barabási. A livello computazionale, invece, le trasformazioni in questo campo hanno principalmente interessato gli algoritmi di force-directed graph che sono stati in parte sostituiti da nuove tecniche, come quella della dimensionality reduction, che permettono di gestire reti più estese in termini di numeri e connessioni. La maggiore complessità nel visualizzare collezioni di immagini consiste infatti nel computare un numero elevato di elementi.

L’inizio dello sviluppo di Surprise Machines è stato caratterizzato dalla creazione di una base di dati locale composta da immagini scaricate attraverso il protocollo IIIF. Questa operazione è stata possibile tramite l’API fornita dal museo, che ha permesso il download di circa 213.000 immagini, corrispondenti a circa 50 GB di spazio su disco. Il primo tentativo di creare una visualizzazione usando una metrica basata sulle annotazioni si è rivelato purtroppo infruttuoso per due motivi: da un lato, l’alto numero di connessioni ha reso impossibile la computazione attraverso il force-directed graph; dall’altro, la scarsa annotazione della collezione non permetteva di creare un’immagine bilanciata nonostante i precedenti esperimenti positivi, lasciando molti nodi disconnessi dalla rete. La soluzione a questo problema di connettività è arrivata attraverso un articolo sul lavoro dello storico dell’arte Aby Warburg, che ha portato a una collaborazione con l’Università di Yale attraverso il Digital Humanities Laboratory (DHLAB).

Il DHLAB è un laboratorio creato per supportare gli studenti e i ricercatori interessati ai metodi digitali. Tra gli strumenti messi a disposizione del gruppo, il software PixPlot ha rappresentato una svolta significativa per lo sviluppo di Surprise Machines. PixPlot è infatti uno strumento per la visualizzazione di collezioni di immagini che ha riscontrato un certo interesse nella comunità scientifica per la sua flessibilità e unicità. Scritto in due linguaggi di programmazione, Python e JavaScript, il software elabora inizialmente un insieme di immagini bitmap attraverso una tecnica di apprendimento automatico chiamata rete neurale convoluzionale sviluppata sulla base di dati ImageNet 2012. Questa parte del codice trasforma una collezione di immagini in vettori numerici, che vengono successivamente convertiti dall’algoritmo di dimensionality reduction UMAP in una visualizzazione bidimensionale. Alla fine di questo processo, il codice JavaScript genera un’interfaccia HTML interattiva basata su tecnologie WebGL con cui l’utente può interagire esplorando la collezione di immagini nello spazio cartesiano attraverso il paradigma dello zoom.

I risultati ottenuti con PixPlot nel visualizzare l’intera collezione degli Harvard Art Museums sono stati più che soddisfacenti: la visualizzazione finale appare equilibrata e distribuita uniformemente nello spazio, e i gruppi di somiglianza sembrano organizzare più di 200.000 immagini per somiglianza in modo significativo (vedi Figura 1). L’immagine che ne risulta ricorda una nebulosa stellare, pronta a essere esplorata attraverso uno zoom ottico. Se si guarda più in profondità, la Figura 2 mostra un dettaglio della visualizzazione relativo a un gruppo di ritratti fatti a mano in cui possono essere riconosciuti Mahatma Gandhi e Albert Einstein.

Utilizzando un concetto sviluppato da Lev Manovich, è importante ricordare che la fascinazione nel visualizzare collezioni estese è un atto puramente sublime, ma l’ingrandimento dei dettagli porta a informazioni specifiche come ricorda Ben Shneiderman. Un uso attento dell’interfaccia consente all’utente di scoprire gruppi specifici di immagini, come la collezione di disegni del Bauhaus o quella dei pigmenti in polvere per i dipinti. Da questo punto in poi, Surprise Machines lascia spazio agli spettatori, la cui interpretazione della visualizzazione diventa un atto necessario a complemento del processo di design.

Figura 1. Questa visualizzazione presenta l’intera collezione degli Harvard Art Museums attraverso PixPlot, un software ad accesso libero creato dal Laboratorio di Digital Humanities dell’Università di Yale. La nebulosa ordina nello spazio bidimensionale gli oggetti della collezione per somiglianza visiva.
Figura 2. Utilizzando l’interfaccia interattiva basata sul web, il visitatore può ingrandire aree specifiche della visualizzazione per rivelare cluster di immagini della collezione degli Harvard Art Museums. In quest’area che mostra ritratti fatti a mano, Mahatma Gandhi e Albert Einstein sono visibili in alto a sinistra del centro.

Progettare un’interfaccia coreografica post-pandemia

L’esposizione Curatorial A(i)gents doveva essere inaugurata nel 2020, ma la pandemia ha obbligato gli organizzatori a posticiparla di circa due anni. In questo periodo, incerti dei protocolli sanitari in vigore all’apertura, il metaLAB ha avviato una ricerca per un’interfaccia senza contatto fisico: degli 11 progetti che componevano la mostra, infatti, circa la metà richiedeva interazioni convenzionali con mouse e tastiera che ponevano problemi di trasmissione del virus. Il gruppo incaricato di esplorare questa soluzione ha trasformato questo limite in un’opportunità, sviluppando un’interfaccia coreografica che potesse consentire ai visitatori del museo di utilizzare un vocabolario gestuale per interagire con i progetti.

Concettualmente, l’interfaccia coreografica è un dispositivo che aumenta l’interattività cinetica e spaziale tra umani e computer integrando il pensiero coreografico nel processo di progettazione. Alcuni modelli relativi al movimento nello spazio e nel tempo sono stati utilizzati per sviluppare un vocabolario del corpo per le interazioni. Queste interazioni coprivano una vasta gamma di funzionalità che includevano la selezione, il tracciamento, il trascinamento, lo zoom, lo scorrimento, l’avanzamento a destra/sinistra, il cambio di mano e l’aggiornamento del browser (vedi Figura 3). Per interpretare i gesti coreografati, sono stati utilizzati software gratuiti di visione artificiale e apprendimento automatico come OpenCV, Teachable Machine e MediaPipe. Diverse iterazioni sono state necessarie in fase di progettazione per arrivare al risultato finale, principalmente perché questi software sono limitati all’elaborazione di posizioni statiche estremamente distinte l’una dall’altra. Questa limitazione ha portato a sviluppare una gestualità geometrica e dissimile, attenta allo spazio negativo intorno al corpo per rendere gli arti sempre visibili alla fotocamera. Le varie iterazioni hanno portato a una soluzione che bilancia l’interesse coreografico e la leggibilità computazionale.

L’interfaccia coreografica è stata influenzata in particolare dal progetto Surprise Machines perché, tra tutti i progetti esistenti, includeva il pacchetto di interazioni più stimolante da realizzare. In questo contesto, il tracciamento delle mani è stato particolarmente impegnativo perché l’interpretazione della macchina avveniva su tutto il corpo mentre il fuoco dell’interazione richiedeva di concentrarsi sugli arti. Surprise Machines ha infatti simultaneamente richiesto il tracciamento della posizione della mano e dei gesti del torso. Le prime iterazioni erano computazionalmente impegnative e non performanti in tempo reale, specialmente nel primo test con PixPlot. Migliori prestazioni sono state successivamente ottenute utilizzando il modello Holistic di MediaPipe per la stima della posa e un modello di regressione logistica per la classificazione. Il passaggio di Surprise Machines a Trails, una versione di PixPlot più leggera, ha ulteriormente aumentato le prestazioni.

La prototipazione di Surprise Machines ha anche aiutato a riflettere sull’intuitività e sulle relazioni dei gesti. Ad esempio, si è optato per incrociare le braccia per aumentare lo zoom e distenderle in una “T” per ridurlo. Trovando scomode alcune interazioni, si è anche implementato un metodo per cambiare la mano dominante guardando semplicemente la mano passiva.

Desiderando offrire ai visitatori un’esperienza performativa, abbiamo infine creato un livello informativo attraverso la sonificazione dell’interfaccia coreografica. La sonificazione aggiunge e modula un audio di sottofondo ai movimenti del corpo, fornendo una partitura dinamica ai movimenti e rafforzando i gesti dell’interfaccia. La posizione e l’accelerazione del corpo guidano i cambiamenti nel suono con l’idea di unire il movimento fisico a quello digitale. Mentre l’interfaccia coreografica includeva un feedback visivo sullo schermo (vedi Figura 4), il feedback uditivo liberava l’attenzione visiva del visitatore per concentrarsi pienamente sul contenuto dei progetti.

Figura 3. L’interfaccia coreografica invita i visitatori a interagire con i progetti di Curatorial A(i)gents utilizzando un vocabolario gestuale. Questo poster di Pablo Castillo dà un’idea della panoramica delle gestualità e delle interazioni usate all’interno di Surprise Machines.
Figura 4. Un test di Surprise Machines alla Lightbox Gallery degli Harvard Art Museums che mostra l’interfaccia coreografica in azione. Lo schermo mostra l’interfaccia di Trails basata su un set limitato di anteprime di immagini, distinguibili dallo sfondo bianco.

Un problema in vista dell’esposizione

La fase di test è stata un momento delicato, specialmente considerando che il progetto Surprise Machines è stato sviluppato da un team distribuito in diverse parti del mondo. Fortunatamente, la presenza di alcuni di noi agli Harvard Art Museums ha reso possibile i test quando le misure di lockdown contro il COVID-19 erano meno severe.

Durante il primo test, il team aveva sentimenti contrastanti. Sebbene la resa grafica fosse incredibilmente accattivante, l’hardware purtroppo non supportava il carico computazionale a causa dell’alto numero di immagini. Di conseguenza, il progetto è stato rimodellato adottando un software chiamato Trails, concepito dal DHLAB per schermi ad altissima risoluzione. Sebbene i backend di PixPlot e Trails coincidessero, il carico computazionale di Trails era notevolmente ridotto dalla scelta di mostrare solo alcuni campioni di immagine (vedi Figure 5 e 6). Sebbene la modifica rendesse l’interfaccia meno attraente, il risultato finale era molto più veloce e reattivo, più adatto all’hardware della Lightbox Gallery.

Mentre una parte del team lavorava alla visualizzazione tra gli Stati Uniti e l’Europa, un altro gruppo in parti diverse degli Stati Uniti progettava l’interfaccia coreografica. Nonostante fosse stato possibile condurre alcuni test in presenza, risolvere i problemi hardware della Lightbox Gallery è stato impegnativo poiché il team lavorava in un contesto diverso: il sistema operativo, l’età dell’hardware e la configurazione erano infatti significativamente diversi. Sebbene l’interfaccia coreografica per Surprise Machines fosse pienamente funzionale su un personal computer, non era abbastanza robusta per un’esposizione di lunga durata. Dato che i protocolli sanitari nella primavera del 2022 non vietavano l’uso di dispositivi, l’esposizione Curatorial A(i)gents è stata alla fine dotata di un air mouse. Ovviamente, l’intenzione è di usare l’interfaccia coreografica per le future versioni di Surprise Machines quando l’hardware che guida il sistema potrà essere gestito più da vicino dagli sviluppatori.

La Lightbox Gallery ha ospitato Surprise Machines durante la settimana del 17-22 maggio 2022, dotata di un air mouse per muovere il cursore sullo schermo. Mentre la maggior parte dei visitatori ha interagito con l’installazione senza problemi, purtroppo alcuni hanno incontrato difficoltà a causa di una limitata alfabetizzazione digitale, come già avvenuto in altre situazioni simili.

Nonostante i progressi dell’alfabetizzazione digitale, le tecnologie digitali faticano ancora a entrare negli spazi museali. Gli Harvard Art Museums hanno trasformato quella che Piano immaginava come una sala riunioni in un laboratorio dedicato alla museologia sperimentale. Tuttavia, Curatorial A(i)gents è stata una delle ultime esposizioni della Lightbox Gallery. Concepita nel luglio 2012 e aperta nel novembre 2014, la Lightbox Gallery è stata infatti riconvertita in un tranquillo salotto per i visitatori nel 2022. La ragione di quest’ultima conversione è duplice: da un lato, la sperimentazione era stata vista come un ciclo destinato a terminare; dall’altro, vi è stata una mancanza di supporto finanziario per il personale e la manutenzione a partire dal 2018. Sebbene la Lightbox Gallery abbia beneficiato di una grande libertà di pianificazione, la verità è che l’edificio non è mai stato pensato per un ruolo centrale della tecnologia. Questo significa che gli Harvard Art Museums continueranno a possedere un’autorità museale nonostante una carenza digitale, ma anche che la svolta digitale deve ancora raggiungere il suo pieno potenziale nei musei. L’esperienza lasciata dalla Lightbox Gallery rappresenta un’importante esperienza dal punto di vista della museologia sperimentale per un pubblico ampio.

Figure 5 e 6. Queste sono due fotografie di Surprise Machines nello spazio espositivo: la prima mostra la nebulosa di oltre 200.000 immagini dalla collezione, la seconda mostra un dettaglio in cui il campionamento è usato per alleggerire il carico computazionale della scheda grafica.

Conclusioni

Oltre ai meriti tecnici, Surprise Machines è stato soprattutto un progetto collettivo sviluppato in una stimolante comunità di ricerca. Basato su una solida filosofia curatoriale, il progetto abbraccia uno spirito collaborativo che trova la sua espressione più evidente nell’interfaccia coreografica. Sebbene quest’ultima non abbia fatto parte dell’esposizione a causa di limitazioni tecniche, è prezioso considerare i fallimenti in una prospettiva futura. La Lightbox Gallery è stata senza dubbio un luogo che ha generato conoscenza museale in un ciclo di vita di circa dieci anni. Pensando a un progetto come Surprise Machines, è necessario non isolare la visualizzazione dei dati dal contesto. Autori, organizzazioni e tecnologie sono tra gli attori che hanno fornito straordinaria ricchezza e imprevedibilità al risultato finale. In un ambiente di ricerca dove i lavori diventano sempre più settoriali e specifici, è essenziale considerare la multidisciplinarietà come una delle qualità più notevoli di un laboratorio e l’irriducibilità come una fonte inesauribile di creatività e ispirazione.

Bibliografia

  • Barabási, A.-L., Bello, M., Kluge-Fabényi, J., Forde, K., Készman, J., Meirelles, I., Ratti, C. G., Ritchie, M., & Szántó, A. (2020). Hidden patterns: Visualizing networks at BarabásiLab (A. Stang & P. Weibel, Eds.). Hatje Cantz Verlag.
  • Benedetti, A. (Director). (2022, January 5). Browsing and visualizing collections of images. https://www.youtube.com/watch?v=bprSgiqZj00
  • Birkle, C., & Däwes, B. (2019). “Old media don’t go away, they mutate”: An interview with Jeffrey Schnapp. Amerikastudien/American Studies, 64(1), 111–125. https://doi.org/10/ghm6cs
  • Bludau, M.-J., Dörk, M., & Heidmann, F. (2021). Relational perspectives as situated visualizations of art collections. Digital Scholarship in the Humanities, 36(Supplement 2), ii17–ii29. https://doi.org/10.1093/llc/fqab003
  • Börner, K., Maltese, A., Balliet, R. N., & Heimlich, J. (2016). Investigating aspects of data visualization literacy using 20 information visualizations and 273 science museum visitors. Information Visualization, 15(3), 198–213. https://doi.org/10.1177/1473871615594652
  • Bostock, M., Ogievetsky, V., & Heer, J. (2011). D3: Data-Driven Documents. IEEE Transactions on Visualization and Computer Graphics, 17(12), 2301–2309. https://doi.org/10.1109/TVCG.2011.185
  • Champion, E. M. (2016). Digital humanities is text heavy, visualization light, and simulation poor. Digital Scholarship in the Humanities, i25–i32. https://doi.org/10.1093/llc/fqw053
  • Crawford, K., & Paglen, T. (2019). Excavating AI: The politics of images in machine learning training sets. AI Now Institute. https://excavating.ai
  • Crockett, D. (2019). IVPY: Iconographic visualization inside computational notebooks. International Journal for Digital Art History, 4, 3.60–3.79. https://doi.org/10.11588/DAH.2019.4.66401
  • Cuno, J. B. (Ed.). (1996). Harvard’s art museums: 100 years of collecting. Harvard University Museums.
  • Danchilla, B. (2012). Beginning WebGL for HTML5. Apress.
  • Derry, L., Kruguer, J., Mueller, M., & Schnapp, J. (2022). Designing a choreographic interface during covid-19. Movement and Computing Conference. https://doi.org/10.1145/3537972.3538020
  • DiMaggio, P., & Hargittai, E. (2001). From the “digital divide” to “digital inequality”: Studying internet use as penetration increases. Center for Arts and Cultural Policy Studies, Princeton University.
  • Drucker, J. (2013). Performative materiality and theoretical approaches to interface. Digital Humanities Quarterly, 7(1). http://www.digitalhumanities.org/dhq/vol/7/1/000143/000143.html
  • Duhaime, D. (2021). PixPlot [Computer software]. Yale Digital Humanities Lab. https://github.com/YaleDHLab/pix-plot (Original work published 2017)
  • Foster, H. (2011). The art-architecture complex. Verso.
  • Geismar, H. (2018). Museum object lessons for the digital age. UCL Press. https://doi.org/10.2307/j.ctv1xz0wz
  • Impett, L., & Moretti, F. (2017). Totentanz. Operationalizing Aby Warburg’s Pathosformeln. New Left Review, 107, 68–97.
  • Jacomy, M., Venturini, T., Heymann, S., & Bastian, M. (2014). ForceAtlas2, a continuous graph layout algorithm for handy network visualization designed for the Gephi software. PLoS ONE, 9(6), e98679. https://doi.org/10.1371/journal.pone.0098679
  • Jodidio, P. (2014). Piano: Renzo Piano building workshop, complete works, 1966-today. Taschen.
  • Karjus, A., Solà, M. C., Ohm, T., Ahnert, S. E., & Schich, M. (2022). Compression ensembles quantify aesthetic complexity and the evolution of visual art. https://doi.org/10.48550/ARXIV.2205.10271
  • Kenderdine, S. (2021). Experimental museology: Immersive visualisation and cultural (Big) Data. In M. Achiam, M. Haldrup, & K. Drotner (Eds.), Experimental museology: Institutions, representations, users. Routledge. https://doi.org/10.4324/9780367808433
  • Kräutli, F. (2016). Visualising cultural data: Exploring digital collections through timeline visualisations. Royal College of Art.
  • Latour, B. (1988). The pasteurization of France (A. Sheridan & J. Law, Trans.; English edition). Harvard University Press.
  • Lima, M. (2011). Visual complexity: Mapping patterns of information. Princeton Architectural Press.
  • Maaten, L. van der, & Hinton, G. (2008). Visualizing data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605. http://jmlr.org/papers/v9/vandermaaten08a.html
  • Manovich, L. (2008). Data visualization as new abstraction and anti-sublime. In B. Hawk, D. M. Rieder, & O. O. Oviedo (Eds.), Small tech: The culture of digital tools. University of Minnesota Press.
  • Manovich, L. (2020). Cultural analytics. MIT Press.
  • Manzini, E. (2016). Design culture and dialogic design. Design Issues, 32(1), 52–59. https://doi.org/10/c2s8
  • McCully, E. A. (2019). Dreaming in code: Ada Byron Lovelace, computer pioneer. Candlewick Press.
  • McInnes, L., Healy, J., & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for dimension reduction. arXiv, stat.ML. https://arxiv.org/pdf/1802.03426.pdf
  • metaLAB. (2022). metaLAB (at) Harvard & FU Berlin. https://mlml.io/
  • Moon, C. Y. E., & Rodighiero, D. (2020). Mapping as a contemporary instrument for orientation in conferences. Proceedings of the IX Annual Conference of the Association for Humanities and Digital Culture (AIUCD). https://doi.org/10.5281/zenodo.3611340
  • O’Shea, K., & Nash, R. (2015). An introduction to convolutional neural networks. arXiv:1511.08458 [cs]. http://arxiv.org/abs/1511.08458
  • Pietsch, C. (2023). VIKUS viewer. GitHub. https://github.com/cpietsch/vikus-viewer (Original work published 2018)
  • Rodighiero, D. (2021a). Mapping affinities: Democratizing data visualization (Open-access English edition). Métis Presses. https://doi.org/10.37866/0563-99-9
  • Rodighiero, D. (2021b, August 18). Ars memorativa as the genesis of information design: A conversation with Manuel Lima. Nightingale. https://nightingaledvs.com/ars-memorativa-as-the-genesis-of-information-design-a-conversation-with-manuel-lima/
  • Rodighiero, D., Wandl-Vogt, E., & Carsenat, E. (2021). Making visible the invisible work of scientists during the COVID-19 pandemic. Visual Culture Studies, 2, 143–165. https://doi.org/10.5281/zenodo.5115621
  • Rodighiero, D., Wandl-Vogt, E., & Carsenat, E. (2022). A visual translation of the pandemic. Leonardo, 55(3), 297–303. https://doi.org/10.1162/leon_a_02203
  • Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy, A., Khosla, A., Bernstein, M., Berg, A. C., & Fei-Fei, L. (2015). Imagenet large scale visual recognition challenge. arXiv:1409.0575 [cs]. http://arxiv.org/abs/1409.0575
  • Schnapp, J., Maizels, M., Battles, M., & Qiu, C. (Eds.). (2020). Curatorial A(i)gents. metaLAB (at) Harvard. https://www.printedmatter.org/catalog/57243/
  • Seguin, B. (2018). The Replica project: Building a visual search engine for art historians. XRDS: Crossroads, The ACM Magazine for Students, 24(3), 24–29. https://doi.org/10.1145/3186653
  • Shneiderman, B. (1996). The eyes have it: A task by data type taxonomy for information visualizations. Proceedings 1996 IEEE Symposium on Visual Languages, 336–343. https://doi.org/10/fwdq26
  • Steward, J. (2021). API documentation [Computer software]. Harvard Art Museums. https://github.com/harvardartmuseums/api-docs (Original work published 2015)
  • Turing, A. M. (1950). Computing machinery and intelligence. Mind, LIX(236), 433–460. https://doi.org/10/b262dj
  • Vane, O. (2019). Timeline design for visualising cultural heritage data. Royal College of Art.
  • Weaver, W. (1948). Science and complexity. American Scientist, 36(4), 536–544. http://www.jstor.org/stable/27826254