Vektoros szómodellek

Eötvös Loránd Tudományegyetem, 2017/2018 tavasz

Olvasószeminárium az MTA--ELTE elméleti nyelvészet programon.

Időpont, helyszín és a referátumok beosztása

• Csütörtök 11--12:30
• A helyszín
  • többnyire az MTA Nyelvtudományi Intézet 414-es termében (1068 Budapest Teréz körút 13., hátsó lépcsőház), de
  • néha a Pázmány BTK-n (Mikszáth tér 1., 111-es terem).

Hogy melyik héten melyik, az az olvasmányokból való referátumok beosztásával együtt ebben a táblázatban olvasható.

A kurzus célja

A kurzus a szó(tári) jelentés vektoros modelljeit mutatja be a történeti előzményektől (szemantikus differenciál, Osgood et al 1975) napjainkig. Az utóbbi évek bemutatásakor a hangsúly az architektúrák alapötletén van, a kurzus nem kíván programozási és gépi tanulási előismereteket.

A tantárgy tartalma

Az első félidőben végigkövetjük a modellcsalád történetet az előzményektől a szóbeágyazások megjelenéséig (Mikolov 2013), majd egy-egy órában megismerjük az ideghálók alapvető architektúráit (rekurrens, rekurzív és konvolúciós, a hangsúlyokat a nyelvi alkalmazás szerint alakítjuk), végül a jelenről veszünk pillanatképet válogatott témákban (szószint alatt és fölött, ritka szavak, szavak többértelműsége, a szótári jelentés időbeli változása, feladatok és domének között általános modellek, többnyelvű feladatok, kapcsolat más modalitásokkal (pl. látás)).

Számonkérési és értékelési rendszer

Az osztályzatot a félévközi aktivitásra (referátumokra és az órai vitákban való részvételre) kapják a diákok.

Irodalom

Mátrixfelbontás ("count-based approaches")

1. Szemantikus differenciál (Osgood, May, and Miron (1975) Cross Cultural Universals of Affective Meaning)
2. Látens szemantikai elemzés (Salton et al., 1975; Deerwester et al., 1990; Landauer és Dumais, 1997)
3. Kölcsönös információ (MI, Church 1990)
4. egy további információelméleti VSM (Cilibrasi & Vitányi 2007)
5. mxfelbontáson alapuló VSM-ek áttekintése (Turney és Pantel 2010)
6. szintagmatikus és paradigmatikus viszonyok (Sahlgren 2006)

Ideghálók szóbeágyazásai ("prediction-based approaches")

1. n-gramm nyelvmodell (Brown et al 1992)
2. Neurális nyelvmodel (Bengio 2003)
3. Szóbeágyazások
   • Mikolov et al (2013 eredeti; negatív mintavétellel; jelentésfelbontás)
   • kapcsolat az MI-vel (Levy and Goldberg 2014)
4. VSM-ek pszichológiai realitása (Mitchell et al., 2008)

Idegháló-architektúrák

• rekurrencs hálók
• rekurzív hálók
• konvolúciós hálók (Kim 2014)

Válogatott cikkek, 2017+

MTA NYI