Evaluation of ML Models for Network Attack Detection in IoMT Environments

Abstract

Study and implementation of a Python tool to parse datasets

Internet of Medical Things (IoMT) has revolutionized healthcare by enabling the integration and communication of medical devices and applications using network infrastructure. However, the increased connectivity also introduces security vulnerabilities, making IoMT systems attractive targets for cyberattacks. Such attacks are severe threats to patients' physical integrity. This thesis explores the application of machine learning (ML) techniques to detect these attacks, providing a comprehensive review of machine learning methodologies, types of training, algorithms, and network analysis methods relevant to IoMT network security. The literature review covers the foundational aspects of machine learning, including supervised and unsupervised learning, and examines specific algorithms such as decision trees, support vector machines, neural networks, and clustering techniques. To evaluate the effectiveness of these methods, several ML models were trained using publicly available IoMT datasets like IoMT 2024 from the Canadian Institute of Cibersecurity and University of New Brunswick. The dataset was preprocessed to ensure data quality and relevance, and processed in different ways to test the different traffic analysis methods. The models trained include Decision Tree base methods like Random Forests, single Decision Trees and Gradient Boosting Machines, with other methods like Logistic Regressions and Neural Networks. These methods were trained using flow analysis methods and single packet features. The results indicate that tree-based methods demonstrate high efficacy in identifying and classifying attacks on IoMT networks, reaching evaluation metrics of 99\%. These findings show the potential of ML-based approaches to enhance the security of IoMT systems. The results also show that including time information is crucial for Machine Learning based IDS.

El Internet de las Cosas Médicas (IoMT, por sus siglas en inglés) ha revolucionado el mundo sanitario al permitir la integración y comunicación de dispositivos y aplicaciones médicas utilizando la infraestructura de red. Sin embargo, el aumento de la conectividad también introduce vulnerabilidades de seguridad, lo que hace que los sistemas IoMT sean objetivos atractivos para los ciberataques. Estos ataques suponen una grave amenaza para la integridad física de los pacientes. Esta tesis explora la aplicación de técnicas de aprendizaje automático (ML, por sus siglas en inglés) para detectar estos ataques, proporcionando una revisión exhaustiva de las metodologías de aprendizaje automático, tipos de entrenamiento, algoritmos y métodos de análisis de redes relevantes para la seguridad de las redes IoMT. La revisión de la literatura cubre los aspectos fundamentales del aprendizaje automático, incluyendo el aprendizaje supervisado y no supervisado, y examina algoritmos específicos como árboles de decisión, máquinas de vectores de soporte, redes neuronales y técnicas de agrupamiento. Para evaluar la efectividad de estos métodos, se entrenaron varios modelos de ML utilizando conjuntos de datos de IoMT disponibles públicamente, como IoMT 2024 del Instituto Canadiense de Ciberseguridad y la Universidad de New Brunswick. El conjunto de datos fue preprocesado para asegurar la calidad y relevancia de los datos, y se procesó de diferentes maneras para probar los diferentes métodos de análisis de tráfico. Los modelos entrenados incluyen métodos basados en árboles de decisión como Random Forests (RF), y máquinas de aumento de gradiente (GBM), junto con otros métodos como regresiones logísticas y redes neuronales. Estos métodos fueron entrenados utilizando métodos de análisis de flujo y características de paquetes individuales. Los resultados indican que los métodos basados en árboles demuestran una alta eficacia en la identificación y clasificación de ataques en redes IoMT, alcanzando métricas de evaluación del 99\%. Estos hallazgos muestran el potencial de los enfoques basados en ML para mejorar la seguridad de los sistemas IoMT. Los resultados también muestran que incluir información temporal es crucial para los Sistemas de Detección de Intrusos (IDS) basados en aprendizaje automático.

L'Internet de les Coses Mèdiques (IoMT, per les seves sigles en anglès) ha revolucionat el món sanitari en permetre la integració i comunicació de dispositius i aplicacions mèdiques utilitzant la infraestructura de xarxa. No obstant això, l'augment de la connectivitat també introdueix vulnerabilitats de seguretat, cosa que fa que els sistemes IoMT siguin objectius atractius per als ciberatacs. Aquests atacs suposen una greu amenaça per a la integritat física dels pacients. Aquesta tesi explora l'aplicació de tècniques d'aprenentatge automàtic (ML, per les seves sigles en anglès) per detectar aquests atacs, proporcionant una revisió exhaustiva de les metodologies d'aprenentatge automàtic, tipus d'entrenament, algoritmes i mètodes d'anàlisi de xarxes rellevants per a la seguretat de les xarxes IoMT. La revisió de la literatura cobreix els aspectes fonamentals de l'aprenentatge automàtic, incloent-hi l'aprenentatge supervisat i no supervisat, i examina algoritmes específics com arbres de decisió, màquines de vectors de suport, xarxes neuronals i tècniques d'agrupament. Per avaluar l'efectivitat d'aquests mètodes, es van entrenar diversos models de ML utilitzant conjunts de dades d'IoMT disponibles públicament, com IoMT 2024 de l'Institut Canadenc de Ciberseguretat i la Universitat de New Brunswick. El conjunt de dades va ser preprocessat per assegurar la qualitat i rellevància de les dades, i es va processar de diferents maneres per provar els diferents mètodes d'anàlisi de trànsit. Els models entrenats inclouen mètodes basats en arbres de decisió com Random Forests (RF), i màquines d'augment de gradient (GBM), juntament amb altres mètodes com regressions logístiques i xarxes neuronals. Aquests mètodes van ser entrenats utilitzant mètodes d'anàlisi de flux i característiques de paquets individuals. Els resultats indiquen que els mètodes basats en arbres demostren una alta eficàcia en la identificació i classificació d'atacs en xarxes IoMT, assolint mètriques d'avaluació del 99%. Aquests resultats mostren el potencial dels enfocaments basats en ML per millorar la seguretat dels sistemes IoMT. Els resultats també mostren que incloure informació temporal és crucial per als Sistemes de Detecció d'Intrusos (IDS) basats en aprenentatge automàtic. The literature review covers the foundational aspects of machine learning, including supervised and unsupervised learning, and examines specific algorithms such as decision trees, support vector machines, neural networks, and clustering techniques. To evaluate the effectiveness of these methods, several ML models were trained using publicly available IoMT datasets like IoMT 2024 from the Canadian Institute of Cibersecurity and University of New Brunswick. The dataset was preprocessed to ensure data quality and relevance, and processed in different ways to test the different traffic analysis methods. The models trained include Decision Tree base methods like Random Forests, single Decision Trees and Gradient Boosting Machines, with other methods like Logistic Regressions and Neural Networks. These methods were trained using flow analysis methods and single packet features. The results indicate that tree-based methods demonstrate high efficacy in identifying and classifying attacks on IoMT networks, reaching evaluation metrics of 99%. These findings show the potential of ML-based approaches to enhance the security of IoMT systems. The results also show that including time information is crucial for Machine Learning based IDS.