SZTAKI HLT | Tárgyas szerkezetek elemzése egy normalizált PMI tenzor felbontásával

Tárgyas szerkezetek elemzése egy normalizált PMI tenzor felbontásával

Makrai Márton
2021. június 3., 14:30
zoom

A tenzorok a mátrixok általánosításai: ahogy a mátrixok két tengely (sorok és oszlopok) mentén elrendezve tartalmaznak számokat, a tenzoroknak több tengelyük (avagy módjuk) van. A különféle tenzorfelbontások a mátrixok szingulárisérték-felbontásának általánosításai, és a céljuk is hasonló: látens jelentés modellezése, zajcsökkentés, magasabb rendű együttes előfordulások modellezése (vagyis amikor két szó hasonló kontextusokban jelenik meg), vagy az adatritkaság csökkentése. Kísérleteinkben az alanyok, igék és tárgyak közötti asszociáció különféle mértékeivel benépesített tenzorokat bontunk fel. Az tesztelt asszociációs mértékek közül kiemelkedik a normalizált pontonkéni kölcsönös információ, amit tudomásunk szerint még nem használtak a háromváltozós esetben. Először alany-ige-tágy hármasok hasonlóságát modellezzük, majd a nem-negítv Tucker-felbontás és a Parafac (avagy CanDecom, avagy Kruskal) látens dimenziót nézegetve szemant(oszintakt)ikai igeosztályokat (Levin 1993) fedezünk fel.

Az előző évi előadáshoz képest annyi az újdonság, hogy áttértem egy hatékonyabb szoftvercsomagra (tensorly) és tenzorfelbontó algoritmusra (Tucker), meg fölfedeztem pár bugot, és így abban a feladatban, amit a hiperparaméterek hangolására használok, vagyis az alany-ige-tágy hármasok hasonlóságában, a ,,state-of-the-art"-hoz közeli (.71 vs .76) eredményt értem el (azért az idézőjel, mert a feladat kiment a divatból, így nem igazán beszélhetünk SOTÁ-ról). Ezt a legjobb eredményt normalizált (háromváltozós) PPMI-vel értem el, így sztori is van, mert tudtommal még nem használták a normalizálást három változóra. Nem-negítv Tucker-felbontással (ami kevésbé hatékony, cserébe unikusabb és interpretálhatóbb) meggyőzőbb látens dimenziókat kaptam, mint korábban.