Architetture transformer unificate per la rappresentazione e la generazione di serie temporali di dati tabulari eterogenei

The increasing adoption of Deep Learning models across diverse domains has recently stimulated research on extending such methods to structured tabular data, especially when these data exhibit temporal dependencies, as in transactional or financial time series. However, tabular datasets pose unique challenges due to their heterogeneous nature, combining numerical and categorical features, and the variable temporal structure of the data. This thesis presents a unified Transformer-based framework for both representation and generation of time-dependent heterogeneous tabular data. We first introduce UniTTab, a Transformer architecture capable of representing transactional time series through a uniform embedding space that jointly encodes categorical and numerical attributes. Trained via a masked token pretext task, UniTTab effectively captures temporal dependencies and internal heterogeneity, outperforming traditional Machine Learning and Deep Learning methods across various prediction and classification tasks. Building on this representation foundation, we explore large-scale training of Transformer models on real-world bank transaction datasets, establishing the first foundation model for transactional data. We then extend this framework to data generation, introducing two models—UniTTab-AR, an autoregressive Transformer, and BankDiT, a diffusion-based Transformer—for synthetic transaction generation. These models address privacy constraints in the financial domain by producing realistic yet non-sensitive synthetic data that preserve temporal dynamics and statistical properties of real transactions. Finally, we generalize the diffusion-based approach to the broader task of tabular time series generation, introducing TabDiT, a Diffusion Transformer architecture specifically designed for heterogeneous and variable-length sequences, and demonstrating state-of-the-art performance across multiple datasets. Overall, this work contributes a coherent framework that unifies the representation, learning, and generation of heterogeneous temporal tabular data through large-scale Transformer architectures, paving the way for foundation models in structured temporal domains such as finance, healthcare, and beyond.

La crescente adozione di modelli di Deep Learning in diversi ambiti applicativi ha recentemente stimolato la ricerca sull’estensione di tali metodologie anche ai dati tabulari strutturati, in particolare quando questi presentano dipendenze temporali, come nel caso delle serie transazionali o finanziarie. Tuttavia, i dataset tabulari pongono sfide peculiari dovute alla loro natura eterogenea — che combina attributi numerici e categoriali — e alla variabilità della loro struttura temporale. Questa tesi presenta un framework unificato basato su architetture Transformer per la rappresentazione e la generazione di dati tabulari eterogenei dipendenti dal tempo. Inizialmente, viene introdotto UniTTab, un modello Transformer in grado di rappresentare serie temporali transazionali attraverso uno spazio di embedding uniforme che codifica congiuntamente caratteristiche numeriche e categoriche. Addestrato mediante un “pretext task” di tipo masked token, UniTTab cattura efficacemente le dipendenze temporali e l’eterogeneità interna dei dati, superando approcci di Machine Learning e Deep Learning tradizionali in diversi compiti di previsione e classificazione. A partire da questa base di rappresentazione, il lavoro esplora l’addestramento su larga scala di modelli Transformer su dataset reali di transazioni bancarie, definendo il primo foundation model per dati transazionali. Successivamente, il framework viene esteso alla generazione di dati, introducendo due modelli: UniTTab-AR, un Transformer autoregressivo, e BankDiT, un Transformer basato su modelli di tipo diffusion. Entrambi affrontano le problematiche di privacy tipiche del dominio finanziario, generando dati sintetici realistici ma non sensibili, che preservano le dinamiche temporali e le proprietà statistiche delle transazioni reali. Infine, la tesi generalizza l’approccio basato su diffusion al compito più ampio della generazione di serie temporali tabulari, introducendo TabDiT, un’architettura Diffusion Transformer specificamente progettata per dati eterogenei e sequenze di lunghezza variabile, che dimostra prestazioni allo stato dell’arte su diversi dataset. Nel complesso, questo lavoro propone un quadro coerente che unifica rappresentazione, apprendimento e generazione di dati tabulari temporali eterogenei tramite architetture Transformer su larga scala, aprendo la strada allo sviluppo di modelli fondamentali per domini strutturati e temporali, come quello finanziario, sanitario e oltre.