Reconfigurable Intelligent Surface Aided 3D Localization Using Reinforcement Learning

Abstract

Global Navigation Satellite Systems (GNSS) provide highly accurate positioning, navigation, and timing. Still, their performance degrades in contested, urban, and indoor environments due to denial and non-line-of-sight conditions. To address this challenge, Reconfigurable Intelligence Surfaces (RIS) offer a potential low-cost, energy-efficient solution for GNSS-denied and non-line-of-sight-assisted localization. RISs consist of passive reflective elements that manipulate the signal propagation path by altering the phase of an incident wave, thereby improving network coverage. These features make RISs a compelling technology for enhancing wireless systems in both civilian and defense applications. For military aircraft and Unmanned Aerial Vehicles (UAVs), RIS-based electromagnetic large apertures (ELAs) can be integrated into vehicle surfaces to significantly enhance communication reliability, target sensing, and overall situational awareness. This work proposes using Reinforcement Learning (RL) to optimize RIS-aided three-dimensional localization via a power maximization approach. Traditional optimization and estimation approaches for RIS-aided localization suffer from high computational complexity and degrade performance in complex, changing environments. RL offers adaptability by enabling an agent to learn about the environment through interaction, reducing reliance on assumptions required for rigid traditional approaches. This research will first compare traditional algorithms, such as Beam Sweep Grid Search (BSGS), with RL-aided RIS localization in a simulated environment. Building on these results, real-world vehicle trajectory data in a GNSS-denied environment will be used to validate the RL approach. Finally, the developed methodology will be tested in the RMC’s RIS laboratory using millimeter-wave (mmWave) TMYTEK RISs. The results of this research demonstrate the feasibility and advantages of configuring the RIS through Reinforcement Learning for accurate, low complexity, and adaptive localization in nosy, multipath and dynamic channels. The proposed RL based framework enables efficient RIS configurations using received power measurements alone, eliminating the need for complex channel state information estimation. Through simulation, real-world trajectory evaluation, and experimental validation with mmWave RIS hardware, the approach is shown to achieve reliable localization performance in GNSS-denied conditions. These results highlight the potential of RL-enabled RIS systems to support robust and secure localization in challenging environments.

Les systèmes mondiaux de navigation par satellite (GNSS) fournissent un positionnement, une navigation et une synchronisation extrêmement précis. Cependant, leurs performances se dégradent dans les environnements contestés, urbains et intérieurs, en raison du déni et de l'absence de ligne de visée. Pour relever ce défi, les surfaces intelligentes reconfigurables (RIS) offrent une solution potentiellement peu coûteuse et économe en énergie pour la localisation assistée sans GNSS ni ligne de visée. Les RISs sont constituées d'éléments réfléchissants passifs qui manipulent le trajet de propagation d'un signal en modifiant la phase d'une onde incidente, ce qui permet d'améliorer la couverture du réseau. Ces caractéristiques font des RIS une technologie prometteuse pour améliorer les systèmes sans fil dans les applications civiles et militaires. Pour les avions militaires et les véhicules aériens sans pilote (UAV), les grandes ouvertures électromagnétiques (ELA) basées sur les RIS peuvent être intégrées à la surface de ces véhicules afin d'améliorer considérablement la fiabilité des communications, la détection des cibles et la connaissance globale de la situation. Ce travail propose d'utiliser l'apprentissage par renforcement (RL) pour optimiser la localisation tridimensionnelle assistée par RIS à l'aide d'une approche de maximisation de la puissance. Les approches traditionnelles d'optimisation et d'estimation pour la localisation assistée par RIS souffrent d'une grande complexité computationnelle et présentent des performances dégradées dans des environnements complexes et changeants. L'apprentissage par renforcement offre une adaptabilité en permettant à un agent d'apprendre à connaître l'environnement par interaction, réduisant ainsi la dépendance aux hypothèses requises par les approches traditionnelles rigides. Cette recherche comparera d'abord les algorithmes traditionnels, tels que la recherche par balayage de grille (BSGS), à la localisation assistée par RIS avec apprentissage par renforcement dans un environnement simulé. Sur la base de ces résultats, des données réelles sur la trajectoire des véhicules dans un environnement sans GNSS seront utilisées pour valider l'approche RL. Enfin, la méthodologie développée sera testée dans le laboratoire RIS du CMR à l'aide d'un RIS TMYTEK à ondes millimétriques (mmWave). Les résultats de cette recherche démontrent la faisabilité et les avantages de la configuration du RIS par apprentissage par renforcement pour une localisation précise, peu complexe et adaptative dans des canaux bruyants, à trajets multiples et dynamiques. Le cadre proposé, basé sur l'apprentissage par renforcement, permet des configurations efficaces du RIS en utilisant uniquement les mesures de puissance reçue, éliminant ainsi le besoin d'une estimation complexe de l'état du canal. Grâce à des simulations, à l'évaluation de trajectoires en conditions réelles et à une validation expérimentale avec du matériel RIS mmWave, cette approche s'avère capable d'atteindre des performances de localisation fiables dans des conditions où le GNSS est indisponible. Ces résultats soulignent le potentiel des systèmes RIS basés sur l'apprentissage par renforcement pour assurer une localisation robuste et sécurisée dans des environnements difficiles.