L'étude des algorithmes informatiques capables de s'améliorer automatiquement grâce à l'expérience et à l'utilisation de données. Algorithmes qui extraient et reconnaissent des modèles, apprennent des règles implicites et font des prédictions. 

Sous-domaine du ML ; couvre les algorithmes de ML qui utilisent des architectures de réseaux neuronaux profonds (à plusieurs couches). Les couches sont utilisées pour extraire des caractéristiques de plus haut niveau à partir des données brutes. En utilisant plusieurs couches de transformations, nous pouvons effectuer un apprentissage représentationnel (trouver automatiquement la manière appropriée de représenter les données). 

Un LLM est un réseau neuronal profond (architecture Transformer) entraîné sur de grands ensembles de données textuelles. Il traite le texte comme des tokens et peut faire une prédiction (générer) sur le token suivant. 

Systèmes d'apprentissage automatique capables de générer du texte, des images, du code ou d'autres types de contenu, souvent en réponse à une requête saisie par un utilisateur. En pratique, un modèle Transformer volumineux (très profond) entraîné sur de grandes quantités de données issues d'un domaine spécifique et recevant une séquence de tokens (invite) est utilisé pour générer de nouveaux tokens à partir de ce domaine.