The ART of CityLearn: Observation Perturbation Attacks and Mitigation for Reinforcement Learning Agents in a Cyber Physical Power System

Abstract

Components of Cyber Physical Systems (CPS), which affect real-world processes, are often exposed to the internet. Replacing conventional control methods with Deep Reinforcement Learning (DRL) in energy systems is an active area of research, as these systems become increasingly complex with the advent of distributed energy resources integration and the desire to improve the energy efficiency. Artificial Neural Networks (ANN) are vulnerable to specific perturbations of their inputs or features called adversarial examples. These perturbations are difficult to detect when properly regularized, but have significant effects on the ANN’s output. Since DRL relies on artificial neural networks to link optimal actions with observations, they are also susceptible to adversarial examples in a similar manner. While Adversarial RL (ARL) has been explored in energy distribution, research is lacking in Demand Response (DR). Furthermore, the ARL literature lacks research into the stealth of adversarial attacks. This work proposes a novel attack technique for continuous control using Group Difference Logits (GDL) loss with a bifurcation layer. By combining aspects of targeted and untargeted attacks, it significantly increases the impact compared to an untargeted attack, with drastically smaller distortions than an optimally targeted attack. This thesis demonstrates the impacts of powerful gradient-based attacks in a realistic smart energy environment, measures how the impacts change with different DRL agents and training procedures, and uses statistical and time series analysis to evaluate attacks’ stealth. It finds that adversarial attacks can have significant impacts on DRL controllers in DR, and constraining an attack’s perturbations makes it difficult to detect. However, certain DRL architectures are far more robust, and robust training methods can further reduce the impact.

Les composants des systèmes cyberphysiques qui affectent les processus du monde réel sont souvent exposés `a l’Internet. Le remplacement des m´ethodes de contrôle conventionnelles par l’apprentissage par renforcement profond (aussi connu sous le nom de Deep Reinforcement Learning, DRL) dans les systèmes ´énergétiques est un domaine de recherche actif, car ces systèmes deviennent de plus en plus complexes et connectés avec l’av`enement des ressources ´énergétiques distribuées et la volonté d’am´eliorer l’efficacit´e ´énergétique. Les réseaux de neurones artificiels (aussi connus sous le nom de Artificial Neural Networks, ANN) sont vulnérables `a des perturbations spécifiques de leurs entrées. Ces perturbations aux entrées permettent de créer des exemples antagonistes. Ces derniers sont difficiles `a d´etecter lorsqu’ils sont correctement régularisés, en plus d’avoir des effets significatifs sur la sortie de l’ANN. Étant donné que le DRL utilise les ´ ANN pour mapper les actions optimales aux observations, il est également vulnérable aux exemples antagonistes. Bien que l’Adversarial RL (ARL) ait été exploré dans le domaine de la distribution d’énergie, il existe peu de recherche sur le sujet dans le domaine de la Réponse `a la Demande (RD). De plus, la littérature de l’ARL manque de recherches sur la furtivité des attaques adverses. Ce travail propose une nouvelle technique d’attaque sur un système de contrôle en continu utilisant la différence de groupe de logits dans la fonction de cout suivi d’une couche de bifurcation. En combinant les aspects des attaques ciblées et non ciblées, cette technique augmente considérablement l’impact par rapport `a une attaque non ciblée, avec des distorsions considérablement plus faibles qu’une attaque optimale ciblée. Cette thèse démontre les impacts d’attaques puissantes basées sur le gradient dans un environnement énergétique intelligent réaliste. On mesure comment les impacts changent avec différents agents DRL et procédures d’entraˆınement. On utilise des analyses statistiques et des analyses de données temporelles pour évaluer la furtivité des attaques. Il a été également d´emontr´e que les attaques contradictoires peuvent avoir des répercussions significatives sur les contrôleurs DRL en RD, et restreindre les perturbations d’une attaque les rend difficiles `a détecter. De plus, il s’av`ere que certaines architectures DRL sont bien plus robustes que d’autres, et que des méthodes d’entraˆınement robustes peuvent réduire encore davantage l’impact d’une attaque.