Az HLT Szemináriumsorozat ezen előadásán Ács (2023) által inspirált folyamatban lévő munkákat fogjuk vizsgálni a perturbált szondázási kísérletek témakörében, azzal a céllal, hogy megértsük, hogyan viselkednek a gépi tanulási modellek, különösen a maszkolt nyelvi modellek (MLMs), amikor bemeneti perturbációknak vannak kitéve. Kutatásunk fényt derít az olyan még nem teljesen megértett jelenségekre, mint a véletlenszerűen súlyozott MLM-ek szerepe a nyelv értelmezésében és generálásában, valamint az előtanított többenylvű a modellekben megfigyelt érdekes bal-kontextus függőségi mintázat. Megvitatjuk ezeknek a megfigyeléseknek a következményeit és kiemelünk létfontosságú nyitott kérdéseket a területen. Ezek közül kiemelkedik a bal és jobb kontextus függőségének aszimmetrikus természetének megértésének kihívása, valamint a szondázás mint módszer érvényességének általános kérdése ezeknek a bonyolult modelleknek az interpretálásában. Az előadás nem csak ezeket a legutóbbi felfedezéseket kívánja kiemelni, hanem arra is törekszik, hogy elősegítse az olyan diskurzust, amely az MLM-ek megértésében jelentős áttöréseket hozhat a jövőben.

Video

Slides

Acs, J., Hamerlik, E., Schwartz, R., Smith, N.A., & Kornai, A. (2023). Morphosyntactic probing of multilingual BERT models. Natural Language Engineering. Published online 2023:1-40. doi:10.1017/S1351324923000190