Examen de grado de maestría

Ashley Travieso Cepero

Fecha: 18 de frebrero de 2025

Título de la tesis: Aprendizaje reforzado aplicado al control de acceso al medio en redes de computadoras

Resumen:
La coordinación entre los elementos de una red de comunicación para acceder al medio compartido es responsabilidad de los protocolos de control de acceso al medio (Medium Access Control, MAC). En este trabajo, se estudia un escenario en el que los nodos ac ceden al canal de comunicaciones mediante esquemas aleatorios. En particular, se presta especial atención a la familia de protocolos MAC ALOHA, revisando en detalle algunas de sus variantes. El Aprendizaje Reforzado (Reinforcement Learning, RL) es una de las principales ramas del Aprendizaje Automático (Machine Learning, ML), en la que un agente inteligente aprende a partir de la interacción con un entorno estocástico. La retroalimentación del entorno, que resulta de las acciones del agente, se interpreta como una recompensa que el agente busca optimizar mediante sus decisiones. El aprendizaje implica establecer conexiones entre las diversas situaciones que puede enfrentar el agente y las acciones que conducen a una mayor recompensa acumulada. Esta investigación se enfoca en el desarrollo de protocolos MAC que utilizan aprendizaje reforzado (RL) para optimizar su rendimiento. El algoritmo de RL más reconocido es el Q-learning, que permite a un agente inteligente aprender sin requerir un modelo del sistema. Se revisan diversos protocolos MAC que implementan Q-learning y demuestran mejoras significativas en su desempeño. Se propone en este trabajo de tesis el diseño de un protocolo MAC con Q-learning que modifica una de las variantes ALOHA. El protocolo ALOHA entramado se basa en la división en tramas temporales, donde los nodos de la red están limitados a transmitir solo una vez por trama. Se desarrolla el protocolo DFQ (Dynamic Frame Q-learning), en el cual un agente ajusta el tamaño de cada trama temporal para optimizar el throughput de la red. A través de simulaciones, se compara el desempeño de DFQ con un método tradicional de variación de tamaño de trama basado en un proceso de estimación. Los resultados muestran que DFQ supera al método tradicional y se aproxima al throughput ideal para este tipo de sistema.