TRACES: Temporal Reasoning and Visual Analysis of Complex Event Sequences

The thesis comprises four papers that form a methodological progression along the VA process. First, a VA approach is presented for improving the quality of noisy and fragmented event sequences in the domain of en-route air traffic control. The approach supports transparent, context-aware transformations and provides visual cues about potential information loss, enabling analysts to assess the impact of each transformation step and improve data quality progressively while preserving analytically significant information. Once sequences are prepared, the analytical focus shifts to what they reveal about user behavior. Accordingly, the second paper proposes a VA approach for analyzing interaction logs from an interactive touchscreen exhibit in an informal learning environment. Coordinated visual representations support navigation across multiple levels of granularity, enabling analysts to inspect individual behaviors, compare users, and identify recurring exploration strategies. As such data extend from controlled studies to unstructured, in-the-wild collections, individual inspection alone becomes insufficient. The third paper therefore introduces a VA workflow that integrates a tailored similarity measure, hierarchical clustering, and process mining to guide the stepwise extraction, characterization, and validation of interaction patterns in large, unstructured interaction logs. Finally, the fourth paper addresses the gap between observable behavior and cognition through a VA approach grounded in a systems thinking framework. Interaction sequences are transformed into multidimensional time series, and motif discovery is coupled with similarity analysis and interactive clustering to characterize pupils’ problem-solving behavior in a digital learning environment for the carbon cycle, supporting hypothesis generation about underlying reasoning processes. The proposed approaches are implemented in interactive systems and examined through usage scenarios, case studies, and expert workshops conducted in close collaboration with domain experts.

Together, these contributions advance VA for event sequence analysis across diverse contexts, including air traffic control, interactive public exhibits, and digital learning environments. They demonstrate how transparent, interactive, and domain-informed workflows can render complex event sequence data analytically accessible and help analysts connect fine-grained interaction traces to higher-level interpretations of user behavior. 

Händelsesekvensdata, såsom systemloggar, interaktionsloggar, ögonrörelseinspelningar och elektroniska patientjournaler, samlas in i stor omfattning inom olika tillämpningsområden för att dokumentera hur aktiviteter och processer utvecklas över tid. Sådana data är sällan direkt redo att analyseras. Råa sekvenser kännetecknas ofta av stora händelsealfabet, varierande längd, hög fragmentering och betydande brus. Dessutom råder en bestående klyfta mellan loggade lågnivåhändelser och de övergripande konstruktioner som gett upphov till dem, såsom utforskningsstrategier och kognitiva processer. Helt automatiserade metoder riskerar att förkasta sällsynt men analytiskt viktig information, medan rent manuell granskning blir opraktisk när data växer i volym och heterogenitet. Dessa utmaningar motiverar visual analytics (VA) metoder, det vill säga visuella analysmetoder som kopplar samman beräkningsmetoder med interaktiv visualisering samtidigt som den mänskliga analytikern förblir delaktig i analysprocessen. Denna avhandling undersöker hur VA kan stödja analytiker i att transformera, utforska, jämföra, extrahera och tolka komplexa händelsesekvensdata härledda ur interaktionsloggar.

Avhandlingen omfattar fyra projekt som bildar en metodologisk progression längs VA-processen. I den första artikeln presenteras en VA-metod för att förbättra kvaliteten hos brusiga och fragmenterade händelsesekvenser inom flygtrafikledning. Metoden stödjer transparenta, kontextmedvetna transformationer och ger visuella ledtrådar om potentiell informationsförlust, vilket gör det möjligt för analytiker att bedöma effekten av varje transformationssteg och successivt förbättra datakvaliteten samtidigt som analytiskt viktig information bevaras. När sekvenserna väl är förberedda förskjuts det analytiska fokuset mot vad de avslöjar om användarbeteende. Följaktligen föreslås i den andra artikeln en VA-metod för att analysera interaktionsloggar från en interaktiv pekskärmsutställning i en informell lärandemiljö. Koordinerade visuella representationer stödjer navigering mellan flera detaljnivåer, vilket gör det möjligt för analytiker att granska enskilda beteenden, jämföra användare och identifiera återkommande utforskningsstrategier. När sådana data utvidgas från kontrollerade studier till ostrukturerade samlingar insamlade i verkliga miljöer räcker enskild granskning inte längre till. I den tredje artikeln introduceras därför ett VA-arbetsflöde som integrerar ett skräddarsytt likhetsmått, hierarkisk klustring och processutvinning för att vägleda en stegvis extrahering, karakterisering och validering av interaktionsmönster i stora, ostrukturerade interaktionsloggar. Slutligen behandlar den fjärde artikeln klyftan mellan observerbart beteende och kognition genom en VA-metod förankrad i ett ramverk för systemtänkande. Interaktionssekvenser transformeras till flerdimensionella tidsserier, och motivupptäckt kombineras med likhetsanalys och interaktiv klustring för att karakterisera elevers problemlösningsbeteende i en digital lärandemiljö om kolets kretslopp, vilket stödjer hypotesgenerering om underliggande resonemangsprocesser. De föreslagna metoderna är implementerade i interaktiva system och prövas genom användningsscenarier, fallstudier och expertworkshoppar genomförda i nära samarbete med domänexperter.

Tillsammans för dessa bidrag VA för händelsesekvensanalys framåt i skilda sammanhang, däribland flygtrafikledning, interaktiva offentliga utställningar och digitala lärandemiljöer. De visar hur transparenta, interaktiva och domäninformerade arbetsflöden kan göra komplexa händelsesekvensdata analytiskt tillgängliga och hjälpa analytiker att koppla finkorniga interaktionsspår till tolkningar av användarbeteende på högre nivå.