L'étude des algorithmes informatiques qui peuvent s'améliorer automatiquement grâce à l'expérience et à l'utilisation de données. Algorithmes qui extraient et reconnaissent des modèles, apprennent des règles implicites et font des prédictions. 

Sous-domaine de la ML ; couvre les algorithmes de ML qui utilisent des architectures de réseaux neuronaux profonds (à plusieurs couches). Les couches sont utilisées pour extraire des caractéristiques de niveau supérieur à partir des données brutes. En utilisant plusieurs couches de transformations, nous pouvons faire de l'apprentissage représentationnel (trouver automatiquement la manière appropriée de représenter les données). 

Un LLM est un réseau neuronal profond (architecture Transformer) formé sur de grands ensembles de données textuelles. Il traite le texte comme des jetons et peut prédire (générer) le jeton suivant. 

Systèmes de ML capables de générer du texte, des images, du code ou d'autres types de contenu, souvent en réponse à une invite saisie par un utilisateur. Dans la pratique, un modèle Transformer de grande taille (très profond) formé sur de grandes quantités de données provenant d'un domaine spécifique et doté d'une séquence de jetons (invite) est utilisé pour générer de nouveaux jetons provenant de ce domaine.