PDEBENCH: un conjunto de referencia de simulación dependiente del tiempo para comparar el rendimiento de nuevos modelos de aprendizaje automático
Los avances recientes en el campo emergente del aprendizaje automático científico (también conocido como aprendizaje automático para ciencias físicas o ciencia basada en datos) han ampliado el alcance de los métodos tradicionales de aprendizaje automático (ML) para incluir la evolución temporal de los sistemas físicos. Se ha logrado un rápido progreso en este campo en el uso de redes neuronales para hacer predicciones utilizando observaciones disponibles en dominios continuos o con restricciones desafiantes y leyes de conservación motivadas físicamente. Estas redes neuronales proporcionan un método para resolver PDE que complementa a los solucionadores numéricos tradicionales. Los métodos de aprendizaje automático basados en datos, por ejemplo, son útiles cuando las observaciones son ruidosas o el modelo físico subyacente debe conocerse o definirse por completo.
Además, los modelos neuronales tienen la ventaja de ser continuamente diferenciables en sus entradas, lo cual es útil en muchas aplicaciones. En el diseño de sistemas físicos, por ejemplo, los modelos son objetos físicos y, por lo tanto, no se pueden diferenciar analíticamente. De manera similar, existen modelos de simulación física de referencia en muchos campos, como la hidrología, pero los modelos de simulación directa son cajas negras no diferenciables. Esto dificulta la resolución de problemas de optimización, control, análisis de sensibilidad e inferencia inversa. Si bien los métodos complejos, como la optimización bayesiana o el modelado de orden reducido, intentan compensar esta falta de diferenciabilidad, los gradientes para las redes neuronales están fácilmente disponibles y son eficientes.
Hay varios puntos de referencia populares para las aplicaciones clásicas de ML, como la clasificación de imágenes, la predicción de series temporales y la minería de texto, y las evaluaciones que utilizan estos puntos de referencia proporcionan un medio estandarizado para probar la eficacia y la eficiencia de los modelos de ML. Hoy en día, debe haber puntos de referencia ampliamente disponibles, prácticamente simples y estadísticamente desafiantes con conjuntos de datos listos para usar para comparar métodos en Scientific ML. Si bien se han logrado algunos avances con respecto a los puntos de referencia de referencia en los últimos años, esperan proporcionar un punto de referencia que sea más completo en términos de PDE cubiertas y permita métodos más diversos para evaluar la eficiencia y precisión del método ML.
Los problemas involucran varias ecuaciones gobernantes y varias suposiciones y condiciones; para un adelanto visual, vea la imagen a continuación. Los datos se pueden generar ejecutando código a través de una interfaz estándar o descargando conjuntos de datos de simulación de alta fidelidad. Todo el código se distribuye bajo una licencia permisiva de código abierto, lo que permite una fácil reutilización y extensión. Además, proponen una API para facilitar la implementación y evaluación de nuevos métodos, métodos de referencia competitivos actuales, como FNO y modelos autorregresivos basados en U-Net, y un conjunto de métricas de rendimiento precalculadas para estos algoritmos. Como resultado, pueden comparar sus predicciones con la «verdad del terreno» proporcionada por los simuladores de referencia utilizados para generar los datos.
Los puntos de referencia en Scientific ML, como en otros dominios de las aplicaciones de aprendizaje automático, pueden proporcionar datos de entrenamiento fácilmente disponibles para el desarrollo y prueba de algoritmos sin la sobrecarga de generar datos desde cero. Los datos de entrenamiento/prueba en estas tareas de emulación son teóricamente ilimitados porque un simulador puede generar más datos. En la práctica, producir tales conjuntos de datos puede ser muy exigente en términos de tiempo de cómputo, almacenamiento y acceso a las habilidades especializadas requeridas. PDEBENCH también aborda la necesidad de datos de entrenamiento rápidos y listos para usar al evitar estos obstáculos y proporcionar una vía de acceso fácil para futuras expansiones.
Proponen en este artículo un conjunto versátil de puntos de referencia para Scientific ML que:
- Proporciona varios conjuntos de datos con distintas propiedades basadas en 11 PDE bien conocidas dependientes del tiempo e independientes del tiempo.
- Abarca tanto los problemas de aprendizaje «clásicos» como las configuraciones inversas.
- Es accesible a través de una interfaz uniforme para leer/almacenar datos en múltiples aplicaciones.
- es extensible
- Tiene resultados para modelos populares de ML de gama alta (FNO, inicial y (por ejemplo, viscosidad).
Cada conjunto de datos contiene suficientes muestras para entrenar y probar una amplia gama de valores de parámetros, con una resolución lo suficientemente alta como para capturar la dinámica local. Además, su objetivo no es proporcionar un punto de referencia completo que incluya solo unas pocas combinaciones posibles de tareas de inferencia en todos los experimentos conocidos, sino facilitar a los futuros investigadores la comparación de sus métodos preferidos. Su objetivo aquí es invitar a otros investigadores a usar sus modelos listos para ejecutar para llenar los vacíos por sí mismos. Para evaluar los métodos de ML para problemas científicos, consideran varias métricas que van más allá del MSE estándar e incluyen propiedades físicas.
Los resultados experimentales preliminares obtenidos con PDEBENCH confirman la importancia de los puntos de referencia científicos completos de ML: no existe un modelo único para todos, y hay mucho espacio para nuevos desarrollos de ML. Los resultados muestran que MSE en datos de prueba, la medida de error estándar en ML, puede ser un mejor proxy para evaluar modelos ML, particularmente en regímenes turbulentos y no suaves, donde no logra capturar pequeños cambios en la escala espacial. También analizan una aplicación en la que un parámetro PDE subyacente influye significativamente en la dificultad del problema para las líneas base de ML. El conjunto de datos, el código y los modelos preentrenados están disponibles gratuitamente en la web.
This Article is written as a research summary article by Marktechpost Staff based on the research paper 'PDEBENCH: An Extensive Benchmark for Scientific Machine Learning'. All Credit For This Research Goes To Researchers on This Project. Check out the paper and code.
Please Don't Forget To Join Our ML Subreddit
Aneesh Tickoo es pasante de consultoría en MarktechPost. Actualmente está cursando una licenciatura en Ciencia de Datos e Inteligencia Artificial en el Instituto Indio de Tecnología (IIT), Bhilai. Pasa la mayor parte de su tiempo trabajando en proyectos diseñados para aprovechar el poder del aprendizaje automático. Su interés de investigación es el procesamiento de imágenes y le apasiona crear soluciones a su alrededor. Le encanta conectar con la gente y colaborar en proyectos interesantes.
