Large Language Model Integration with Reinforcement Learning to Augment Decision-Making in Autonomous Cyber Operations

Abstract

Previous work has demonstrated the significant benefits of using Reinforcement Learning (RL) to solve complex problems in the cybersecurity domain. In particular, RL has great potential for real world applications where agents can learn by directly interacting with an environment. This approach eliminates the need to prepare large datasets to train a model; however, it requires a suitable environment in which an agent can learn. The environment must simulate realistic cybersecurity conditions and provide the appropriate signals for an agent to learn an optimal policy. Another significant advance in Artificial Intelligence (AI) is the development of Large Language Models (LLMs). An LLM’s unique ability to recognize patterns in language makes it an invaluable asset for Autonomous Cyber Operations (ACO), where the goal is to incorporate autonomous decision-making in the cyber domain. Integrating an LLM provides simulated human reasoning in the RL process, allowing trained professionals to apply their invaluable skills elsewhere, greatly enhancing the scalability of cybersecurity. Currently, the work done in ACO consists of RL agents that must begin learning from scratch in order to converge on a policy. Moreover, the knowledge of these agents is limited to the specific rules of the environment they are trained in. The purpose of this thesis is to introduce external knowledge in the RL pipeline to enhance decision-making and optimize training. This external knowledge will be in the form of an LLM that has already been trained in the cybersecurity domain.

Des travaux antérieurs ont démontré les avantages de l’utilisation de l’apprentissage par renforcement pour résoudre des problèmes complexes dans le domaine de la cybersécurité. En particulier, l’apprentissage par renforcement présente un grand potentiel pour les applications réelles où les agents peuvent apprendre en interagissant directement avec un environnement. Cette approche élimine le besoin de créer de grands jeux de données pour entraîner un modèle; cependant, elle nècessite un environnement dans lequel l’agent peut apprendre. Cet environnement doit simuler des conditions de cybersécurité réalistes et générer les signaux appropriés pour qu’un agent puisse apprendre une stratégie optimale. Un autre avancée majeure en intelligence artificielle est le développement des grands modèles de langage. La capacité unique de ces modèles à comprendre le langage humain les rend pertinents pour les opérations cybernètiques autonomes où l’objectif est de considérer la prise de décision autonome dans le domaine cybernètique. L’intégration d’un grand modèle de langage offre une simulation du raisonnement humain dans le processus d’apprentissage par renforcement, permettant ainsi aux professionnels qualifiés d’appliquer leurs compétences précieuses ailleurs, ce qui améliore grandement l’évolutivité de la cybersécurité. Actuellement, la recherche effectuée en opérations cybernétiques autonomes consiste en des agents d’apprentissage par renforcement qui doivent commencer à apprendre à partir de zéro afin de converger vers une stratégie optimale. De plus, la connaissance de ces agents est limitée aux règles spécifiques de l’environnement dans lequel ils sont entraînés. L’objectif de cette thèse est d’introduire des connaissances externes dans le processus d’apprentissage par renforcement pour améliorer la prise de décision et optimiser l’entraînement. Ces connaissances externes prendront la forme d’un grand modèle de langage déjà entraîné dans le domaine de la cybersécurité.