Un algoritmo es un conjunto prescrito de instrucciones o reglas que permite llevar a cabo una actividad mediante pasos sucesivos. Este conjunto ordenado de operaciones sistemáticas permite hacer un cálculo y hallar la solución de un tipo de problemas.
Sin embargo, en Inteligencia Artificial es complicado definir algoritmos que hagan lo que queramos: ¿qué pasos hay que seguir para detectar un gato en una foto? ¿o para decidir si un cliente se va a cambiar de compañía telefónica? ¿o para estimar el volumen de negocio que tendrá una compañía en el próximo mes? Estos problemas no se pueden resolver con instrucciones concretas dadas a un ordenador. En su lugar, se utilizan modelos matemáticos complejos que aprenden a base de ejemplos, es decir, a través de los datos. Este proceso de aprendizaje se denomina entrenamiento del modelo.