A COMPARISON OF TIME SERIES FORECASTING LEARNING ALGORITHMS ON THE TASK OF PREDICTING EVENT TIMING

Abstract

Time series analysis is widely used in various fields such as business, economics, finance, science, and engineering. A time series is a sequence of values or observations of a variable recorded at sequential points in time. One of the main purposes of time series data is that past observations of the data can be used to forecast future values. This thesis focuses on a particular form of time series: the binary time series that contains instantaneous events that occur over time. However, predicting future upcoming events is extremely difficult. The sum squared error (SSE) is a common measure of performance that turns out to be a poor choice for this type of prediction. In fact, majority of machine learning algorithms try to minimize the sum squared error of each output at every time step. Therefore, a new computational approach using interval timing has been proposed in the literature. The idea of this approach, inspired by how animals learn, suggest to predict “when” a particular event will occur in the future instead of “what” event will occur at the next time step by minimizing the sum timing error for each event. An online learning algorithm namely time adaptive drift-diffusion model (TDDM) derived from this concept has been developed by Rivest et al, 2014. The TDDM algorithm is based on a bounded accumulation process similar to drift-diffusion models (DDM) using in modelling animal decision making. It learns to predict the time remaining before an event occur using binary inputs stream. This thesis aims at first developing an offline regression-based TDDM algorithm that learns to predict the time remaining before instantaneous events occur, and second at comparing some state-of-the art time series forecasting models from statistics (such as the multivariate vector auto-regressive moving average (VARMA) algorithm) and machine learning (such as the echo state network (ESN) algorithm) to TDDM on predicting when instantaneous events will occur. A detailed description and classification of the three algorithms is given while highlighting their strengths and drawbacks. We compare these three regression-based algorithms on three real world datasets namely the Bach Chorales for music notes, the NASDAQ stock prices, and the MIT-BIH Arrhythmia database. Two sets of experiments were conducted. In the first one, the algorithms tried to predict binary instantaneous events streams at each time step while in the second they learned to predict the time remaining before the events occur. It was found that the three algorithms have difficulties learning to predict binary event stream but perform much better in the prediction of the time remaining before the occurrence of events.

L’analyse de séries chronologiques est largement utilisée dans divers domaines tels que le commerce, l'économie, la finance, la science et l'ingénierie. Une série chronologique ou temporelle est une séquence de valeurs ou d'observations d'une variable enregistrée en des points successifs dans le temps. L'un des objectifs principaux des données de séries chronologiques est que les observations passées peuvent être utilisées pour prévoir les valeurs futures. Beaucoup de modèles de prévision des séries chronologiques provenant du domaine de l'apprentissage machine et celui de la statistique ont été proposées dans la littérature. Cette thèse s’intéresse à une forme particulière de séries temporelles: la série de temps binaire qui contient des événements instantanés qui se produisent au fil du temps. Cependant, la prévision des événements futurs à venir est extrêmement difficile. La mesure d’erreurs au carré (SSE) est une mesure commune de performance qui se révèle être un mauvais choix pour ce type de prédiction. En fait, la majorité des algorithmes d'apprentissage machine essayent de minimiser la SSE de chaque sortie, à chaque pas de temps. Par conséquent, une nouvelle approche de calcul en utilisant la synchronisation d'intervalle a été proposée dans la littérature. L'idée de cette approche, inspirée par la façon dont les animaux apprennent, suggèrent de prévoir "quand" un événement particulier se produira dans l'avenir au lieu de "quoi" qui se produira au prochain pas de temps en minimisant la somme des erreurs de synchronisation pour chaque événement. Un algorithme d'apprentissage en ligne basé sur les modèles d'adaptation de dérivé -diffusion (TDDM) dérivé de ce concept a été développé par Rivest et al, 2014. L’algorithme TDDM est basé sur un processus d'accumulation similaire aux modèles (DDM) inspirée de l’apprentissage animale décision. Ce model apprend à prédire le temps restant avant qu’un événement se produit en utilisant des entrées binaires. Cette thèse vise à développer d'abord un algorithme offline basé sur la régression qui apprend à prédire le temps restant avant que des événements instantanés se produisent, et ensuite à le comparer avec certains modèles connus pour prévision des séries chronologiques d’abord en statistique (à savoir l’algorithme vecteur auto régressive moyenne mobile (VARMA)) puis en apprentissage machine (avec l’algorithme du réseau de neurones (ESN) ) sur la prévision des événements instantanés. Une description détaillée des trois algorithmes est donnée tout en soulignant leurs avantages et leurs inconvénients. Nous comparons ces trois algorithmes basées sur la régression sur les trois ensembles de données du monde réel à savoir Bach Chorales pour les notes de musique, les cours boursiers NASDAQ, et la base de données MIT-BIH d’arythmie. Deux séries d'expériences ont été réalisées. Dans la première, les algorithmes vont essayer de prédire des événements instantanés binaires à chaque pas de temps alors que dans le second, ils apprendront à prédire le temps restant avant que les événements se produisent. Il a été constaté que les trois algorithmes ont des difficultés d'apprentissage pour prédire des événements binaire, mais beaucoup plus performants dans la prédiction de la durée restante avant la survenance d'événements.