1. Wiedza
  2. Pojęcia
  3. Wyciek danych treningowych LLM

Artykuł pomocniczy · pojęcie · Pojęcia · GEO / AI Search

Wyciek danych treningowych LLM

także: training data leakage · invisible hands · memorization · AVR · Automated Vulnerability Repair

Ukryte czynniki mogące wpływać na wyniki LLM, w tym wycieki z danych treningowych pozwalające na reprodukcję ludzkich poprawek.

Pęknięta amfora z rubinową kroplą wycieku – metafora wycieku danych treningowych LLM.

Problem

Badania z 2025 roku wskazują, że zyski LLM w naprawianiu luk mogą być napędzane przez ukryte czynniki jak wycieki danych treningowych.

Rozszerzona definicja

Wyciek danych treningowych LLM (training data leakage) to zjawisko, w którym modele językowe odtwarzają fragmenty danych użytych podczas treningu — od dosłownych podciągów tekstowych po subtelniejsze formy zapamiętania — ujawniając tym samym informacje, które miały pozostać prywatne lub poufne12.

Badania wskazują, że atakujący może przeprowadzić atak ekstrakcji danych treningowych (training data extraction attack), odzyskując pojedyncze przykłady treningowe wyłącznie przez zadawanie zapytań do modelu2; zjawisko to stanowi poważne zagrożenie dla prywatności danych w kontekście szerokiego wdrożenia modeli językowych1.

Jak to działa

Mechanizm wycieku opiera się na właściwości zwanej memoryzacją (memorization): model podczas treningu zapamiętuje sekwencje danych, a następnie może je odtworzyć podczas generowania odpowiedzi23. Tempo regenerowania sekwencji treningowych rośnie nieliniowo wraz z liczbą ich duplikatów w zbiorze treningowym — sekwencja obecna w danych 10 razy była średnio generowana około 1000 razy częściej niż sekwencja obecna tylko raz3.

Andrej Karpathy — jak mówi w nagraniu z lutego 2025 roku — wskazuje, że modele mogą być wyjątkowo dobre w memoryzacji, co zazwyczaj nie jest pożądaną cechą finalnego modelu; zjawisko to określa się mianem regurgitacji (regurgitation) i jest uznawane za niepożądane4.

Przykłady

  • Atak ekstrakcji danych treningowych: atakujący zadaje zapytania do modelu językowego i odzyskuje pojedyncze przykłady treningowe bez dostępu do oryginalnego zbioru danych2.
  • Efekt duplikacji: sekwencja obecna w danych treningowych 10 razy była średnio generowana przez model około 1000 razy częściej niż sekwencja obecna tylko raz, co ilustruje nieliniową zależność między częstością a memoryzacją3.
  • Subtelne formy memoryzacji: część zapamiętanych treści nie odpowiada dosłownie żadnemu podciągowi ze zbioru treningowego, przez co nie jest wykrywana przez zabezpieczenia skupione wyłącznie na verbatim memorization5.
  • Regurgitacja jako zjawisko niepożądane: Andrej Karpathy — jak mówi w nagraniu z 2025 roku — opisuje regurgitację jako bezpośrednie cytowanie treści przez model, wskazując, że jest to efekt uboczny wysokiej zdolności memoryzacyjnej, której zazwyczaj nie chce się w finalnym modelu4.

Częste błędy i mity

  • Mit: verbatim memorization wyczerpuje definicję wycieku danych treningowych — w rzeczywistości autorzy badania z 2023 roku argumentują, że ta definicja jest zbyt wąska i pomija subtelniejsze formy memoryzacji5.
  • Mit: istniejące zabezpieczenia skutecznie eliminują ryzyko wycieku — w rzeczywistości część wdrożonych mechanizmów obronnych skupia się wyłącznie na verbatim memorization i nie chroni przed subtelniejszymi formami zapamiętania5.

Powiązane hasła

Źródła i odwołania

  1. Training Data Extraction From Pre-trained Language Models: A Survey

    aclanthology.org ·

    As the deployment of pre-trained language models (PLMs) expands, pressing security concerns have arisen regarding the potential for malicious extraction of training data, posing a threat to data privacy. This study is the first to provide a comprehensive survey of training data extraction from PLMs.

  2. Extracting Training Data from Large Language Models | USENIX

    usenix.org ·

    This paper demonstrates that in such settings, an adversary can perform a training data extraction attack to recover individual training examples by querying the language model.

  3. Deduplicating Training Data Mitigates Privacy Risks in Language Models

    proceedings.mlr.press ·

    We first show that the rate at which language models regenerate training sequences is superlinearly related to a sequence’s count in the training set. For instance, a sequence that is present 10 times in the training data is on average generated ∼1000× more often than a sequence that is present only once.

  4. Deep Dive into LLMs like ChatGPT

    YouTube ·

    a very large extent it will eventually deviate uh because it won't be able to remember exactly now the reason that this happens is because these models can be extremely good at memorization and usually this is not what you want in the final model and this is something called regurgitation and it's usually undesirable to site uh things uh directly uh that

  5. [2210.17546] Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy

    arxiv.org ·

    Many prior works -- and some recently deployed defenses -- focus on "verbatim memorization", defined as a model generation that exactly matches a substring from the training set. We argue that verbatim memorization definitions are too restrictive and fail to capture more subtle forms of memorization.

Każde zdanie powyżej odsyła do dosłownego cytatu ze źródła. Daty to daty publikacji lub pobrania źródła.

Źródła faktów

  • SEO/references/geo/REFS-GEO-R17-Training-vs-Retrieval-Visibility.md