Retos para el análisis y la estimación de la distribución de probabilidad en Big-data

Abstract

En este documento se describen los principales conceptos relacionados con el ajuste no paramétrico de la distribución de probabilidades cuando se dispone de datos masivos y estos poseen fuerte asimetría a la derecha. En concreto, se estudian datos que representan perdidas positivas, que son muy heterogéneos y, por tanto, que pueden ser muy reducidos, cercanos a cero, o muy elevados y, además, pueden proceder de distintas distribuciones de probabilidad. Además, se mostrará cómo, aún disponiendo de una gran cantidad de datos, el efecto de la censura y el truncamiento sigue siendo un problema de falta de información que provoca grandes sesgos en los valores estimados. También, se describirán algunos resultados relacionados con la estimación paramétrica desde la perspectiva del uso de datos masivos. Finalmente, se presentarán algunos estimadores tipo núcleo, que ya han sido propuestos en la literatura, y que abordan algunas dificultades de los estimadores núcleos más clásicos cuando en los datos existen valores muy extremos los cuales es necesario modelizar para la cuantificación del riesgo.