Traduction automatique par deepL
arXiv:2601.02671 [cs.CL]
(or arXiv:2601.02671v1 [cs.CL] for this version)
https://doi.org/10.48550/arXiv.2601.0267
De nombreuses questions juridiques non résolues concernant les grands modèles de langage (LLM) et le droit d'auteur tournent autour de la mémorisation : s'agit-il de savoir si des données d'entraînement spécifiques ont été encodées dans les poids du modèle au cours de l'entraînement, et si ces données mémorisées peuvent être extraites des résultats du modèle. Alors que beaucoup pensent que les LLM ne mémorisent qu'une petite partie de leurs données d'entraînement, des travaux récents montrent que des quantités substantielles de textes protégés par le droit d'auteur peuvent être extraites de modèles à poids ouverts. Cependant, la question de savoir si une extraction similaire est possible pour les LLM de production reste ouverte, compte tenu des mesures de sécurité mises en œuvre par ces systèmes. Nous étudions cette question à l'aide d'une procédure en deux phases : (1) une première exploration visant à tester la faisabilité de l'extraction, qui utilise parfois une technique de « jailbreak » de type Best-of-N (BoN), suivie de (2) des invites itératives de continuation pour tenter d'extraire le livre. Nous évaluons notre procédure sur quatre LLM de production — Claude 3.7 Sonnet, GPT-4.1, Gemini 2.5 Pro et Grok 3 — et nous mesurons le succès de l'extraction à l'aide d'un score calculé à partir d'une approximation par blocs de la plus longue sous-chaîne commune (nv-recall).
Grâce à différentes configurations expérimentales par LLM, nous avons pu extraire des quantités variables de texte. Pour la sonde de phase 1, il n'était pas nécessaire de jailbreaker Gemini 2.5 Pro et Grok 3 pour extraire du texte (par exemple, un nv-recall de 76,8 % et 70,3 %, respectivement, pour Harry Potter et la pierre philosophale), alors que cela était nécessaire pour Claude 3.7 Sonnet et GPT-4.1. Dans certains cas, Claude 3.7 Sonnet, une fois « jailbreaké », reproduit des livres entiers presque mot pour mot (par exemple, nv-recall = 95,8 %). GPT-4.1 nécessite un nombre nettement plus élevé de tentatives de BoN (par exemple, 20 fois) et finit par refuser de continuer (par exemple, nv-recall = 4,0 %). Dans l'ensemble, nos travaux soulignent que, même avec des mesures de protection au niveau du modèle et du système, l'extraction de données d'entraînement (protégées par le droit d'auteur) reste un risque pour les LLM de production.
| Date | Sujet | # | Auteur | |
| 11 Apr 26 |  IA et mémorisation des données d'apprentissage | 1 | Paul Aubrin |
Les messages affichés proviennent d'usenet.