Servicios de Asesoría y Capacitación Empresarial, S. C.

   

English

   

   

Français

   

   

Deutsch

OBJETIVO DEL CURSO.

Conocer las metodologías especificadas para medir el desempeño de la clasificación de los modelos, sistemas y algoritmos de aprendizaje automático con base en la Especificación Técnica ISO/IEC TS 4213:2022 Tecnología de la información - Inteligencia artificial - Evaluación del desempeño de la clasificación del aprendizaje automático.

Nota 1: la clasificación es el método de estructurar un tipo definido de artículo (objetos o documentos) en clases y subclases de acuerdo con sus características.

Nota 2: la evaluación es el proceso de comparar la clasificación con las predicciones hechas por el modelo sobre los datos para las etiquetas reales en los datos.

DURACIÓN DEL CURSO: 24 horas.

TEMARIO DEL CURSO.

El temario del curso es el siguiente:

1. Introducción.

1. Objeto y campo de aplicación.
   
   
2. Referencias normativas.
   
   
3. Términos y definiciones.
   1. Clasificación y términos relacionados.
   2. Métricas y términos relacionados.
      
      
4. Términos abreviados.
   
   
5. Principios generales.
   1. Procesos generalizados para evaluación del desempeño de la clasificación del aprendizaje automático.
      
      
   2. Propósito de la evaluación del desempeño de la clasificación del aprendizaje automático.
      
      
   3. Criterios de control en la evaluación del desempeño de clasificación del aprendizaje automático.
      1. Generalidades.
      2. Representatividad de los datos y sesgo.
      3. Preprocesamiento.
      4. Datos de entrenamiento.
      5. Datos de prueba y de validación.
      6. Validación cruzada.
      7. Límite de la fuga de información.
      8. Límite de los efectos del canal.
      9. Verdad fundamental.
      10. Algoritmos, hiperparámetros y parámetros del aprendizaje automático.
      11. Ambiente de la evaluación.
      12. Aceleración.
      13. Líneas de base apropiadas.
      14. Contexto del desempeño de la clasificación del aprendizaje automático.
          
          
6. Medidas estadísticas de desempeño.
   1. Generalidades.
      
      
   2. Elementos base para la computación métrica.
      1. Generalidades.
      2. La matriz de confusión.
      3. Exactitud.
      4. Precisión, recuperación y especificidad.
      5. Marcador F1.
      6. Fβ.
      7. Divergencia de Kullback-Leibler.
         
         
   3. Clasificación binaria.
      1. Generalidades.
      2. Matriz de confusión para la clasificación binaria.
      3. Exactitud para la clasificación binaria.
      4. Precisión, recuperación y especificidad, marcador F1, y Fβ para la clasificación binaria.
      5. Divergencia de Kullback-Leibler para la clasificación binaria.
      6. Curva característica operativa del receptor y área bajo la curva característica operativa del receptor.
      7. Curva de recuperación de la precisión y área bajo la curva de recuperación de la precisión.
      8. Curva de respuesta acumulativa.
      9. Curva de elevación.
         
         
   4. Clasificación multiclases.
      1. Generalidades.
      2. Exactitud para la clasificación multiclases.
      3. Macro-promedio, promedio ponderado y micro-promedio.
      4. Diferencia de distribución o métricas de distancia.
         
         
   5. Clasificación multietiquetas.
      1. Generalidades.
      2. Pérdida de hamming.
      3. Relación de coincidencia exacta.
      4. Índice de Jaccard.
      5. Diferencia de distribución o métricas de distancia.
         
         
   6. Complejidad computacional.
      1. Generalidades.
      2. Latencia de la clasificación.
      3. Rendimiento de la clasificación.
      4. Eficiencia de la clasificación.
      5. Consumo de energía.
         
         
7. Pruebas estadísticas de significancia.
   1. Generalidades.
   2. Pruebas t de Student emparejadas.
   3. Análisis de variancia.
   4. Prueba de Kruskal-Wallis.
   5. Prueba de χ².
   6. Prueba de rangos de signos de Wilcoxon.
   7. Prueba exacta de Fisher.
   8. Teorema del límite central.
   9. Prueba de McNemar.
   10. Corrección para comparaciones múltiples.
       1. Generalidades.
       2. Corrección de Bonferroni.
       3. Tasa de falsos descubrimientos.
          
          
8. Informe.
   
   
9. Anexo A Ilustración del desempeño de la clasificación multiclase.
   1. Progresión de resultados de clasificación en bruto a resultados multiclase.
      
      
10. Anexo B Ilustración de la curva característica operativa del receptor derivada de los resultados de clasificación.
    1. Progresión de resultados de clasificación binaria en bruto a curva característica operativa del receptor.
       
       
11. Anexo C Información resumida sobre pruebas de benchmark de clasificación de aprendizaje automático.
    1. Ejemplos de las pruebas de benchmark de clasificación de aprendizaje automático.
       
       
12. Anexo D Fracción de mortalidad por causas específicas corregida por el azar.
    1. Cálculo de la exactitud de la fracción de mortalidad por causas específicas corregida por el azar.
       
       
13. Taller de ejercicios de interpretación y aplicación de la Especificación Técnica ISO/IEC TS 4213:2022.

Regresar a los cursos de sistemas de gestión de inteligencia artificial.

Regresar a los cursos de sistemas de gestión.