SZTAKI HLT | Számítógépes lexikai szemantika 2.

Számítógépes lexikai szemantika 2.

Eötvös Loránd Tudományegyetem, 2018/2019 ősz

Olvasószeminárium az MTA-ELTE elméltei nyelvészeti programján.

A kurzus célja

A kurzus elméleti jellegű, a gépi szövegértés, konkrétabban a szóreprezentációk két nagy családjának alapötleteit, az emberi munkával összeállított szemantikus hálókéit és a gépi tanulás körébe tartozó vektoros nyelvmodellekéit járjuk körül. Hasznos lesz, ha a hallgatóknak van (BSc-s) valószínűségszámítási, lineáris algebrai, statisztikai (az MTA-ELTE elméleti nyelvészet programján Mády Katalin tanít ilyesmit), esetleg információelméleti előismeretük, de nem követelmény, mint ahogy az oktató korábbi lexikai szemantikai (illetve vektoros) kurzusai sem azok.

Számonkérési és értékelési rendszer

Az osztályzatot a referátumokra, a megértést ellenőrző heti házi feladatokra és az órai vitákban való részvételre kapják a diákok.

Témák

Szemantikus hálók
  1. A gépi szövegértés problémája -- John McCarthy (1976) An example for natural language understanding...
  2. a szótári felbontás (Katz & Fodor, 1963, sec 6), a szótári jelentés rendszeres része
    • a modellel szembeni kritikát összefoglalja Kornai, 2018, 5.6. szakasza (155. oldaltól)
  3. szemantikus háló (Quillian, 1969), a szótár mint csomópontok és élek
  4. Aktivációterjedés
    • Collins and Loftus (1975)
    • GS Dell (1986) A spreading-activation theory of retrieval in sentence production
    • Levelt, Roelofs, and Meyer (1999) A Theory of Lexical Access in Speech Production
A teljes szókincs
  1. digitális szótárak szerepe a nyelvtechnológiában (Boguraev and Briscoe, 1989, ch 1)
  2. a szókincs visszavezetése (Kornai & Makrai, 2013; Kornai et al., (2015), Ács J+ (KK120 2017--2018)
  3. Mai szemantikus hálók
  4. ontológia (Cyc, KL-ONE, OWL, Wikidata, SUMO, MEO)
  5. 4lang (Kornai et al 2010-). Ez a jelentésreprezentációs rendszer azért kap kitüntetett szerepet a kurzusban, mert az oktató is részt vesz a fejlesztésében.
Igék
  1. Igékből absztrahált típusok (Schank, 1973)
  2. Fillmore. Kalivoda Ágnes szlájdjai
    • mélyeset (Fillmore, 1968; Fillmore, 1977)
    • keretek (≈ szkriptek, sémák), FrameNet, PropBank
  3. lokalista eset (Anderson 1971, 2006)
Kognitív szemantika
  1. Conceptual Semantics (Jackendoff, 1972; and Jackendoff, 1990)
  2. Természetes szemantikai metanyelv (Wierzbicka, 1972; Goddard:1994)
  3. analitikus és szintetikus tulajdonságok
    • Quine, (1951) Two dogmas of empiricism
    • Grice and Strawson, (1956) In defense of a dogma
    • Putnam, (1976)
  4. naív elméletek
    • naív fizika, Hayes, 1978; Hayes, 1995
    • ezek nyelvfüggő volta (Kornai, 2007)
  5. metafora (Lakoff:1980)
  6. erődinamika (Talmy, 1988)
  7. a generatív lexikon (Pustejovsky, 1995)
Vektoros szómodellek
Lineáris modellek
  1. Szemantikus differenciál (Osgood, May, and Miron, 1975)
  2. Látens szemantikai elemzés (Landauer and Dumais, 1997)
  3. Kölcsönös információ (Church and Hanks, 1990)
  4. egy tömörítésen alapuló módszer (Cilibrasi and Vitanyi, 2007)
  5. a matematikai módszerek áttekintése
    • Turney and Pantel, (2010)
    • Baroni & Lenci (2010)
  6. a vektorok helye a strukturalista nyelvészetben (Sahlgren, 2006)
Ideghálók szómodelljei
  1. Nyelvmodellezés
    • n-gramm nyelvmodell (Brown et al., 1992)
    • neurális nyelvmodel (Bengio et al., 2003)
  2. word2vec
    • eredeti (Mikolov et al., 2013b),
    • negatív mintavétellel (Mikolov et al., 2013a),
    • jelentésfelbontás (Mikolov, Yih, and Zweig, 2013)
    • kapcsolat az MI-vel (Levy and Goldberg, 2014)
    • kontextus számolása vagy jóslása (Baroni+ 2014)
  3. GloVe (Pennington+ 2015)
  4. Idegháló-architektúrák
    • konvolúciós hálók (Collobert & Weston 2011; Kim 2014; Kalchbrenner et al., 2014; Johnson and Zhang, 2015; Tang et al., 2015; Xiao and Cho, 2016)
    • rekurrens hálók (Mikolov, 2010; Hochreiter & Schmidhuber 1997, Bahdanau 2014)
    • rekurzív hálók (Socher+ 2013; Chen+ 17 ...NMT with a Syntax...)
    • figyelem (Bahdanau+ 2014; Vaswani+ 2017; Bai+ 2018)
    • representation sharing (Collobert et al., 2011; Hashimoto et al., 2017)
Vegyes témák és újdonságok
  1. kapcsolat szemantikus hálókkal: retrofitting és specializálás (Faruqui et al., 2015; Mrkšić et al., 2016)
  2. pszichológiai realitás (Mitchell et al., 2008; Fyshe+ 2014)
  3. nemnegatívitás (Faruqui et al., 2015; Fyshe et al., 2015; Arora et al., 2016)
  4. ritka (túlteljes) szóreprezentációk (Faruqui et al., 2015; Berend, 2017; Subramanian et al., 2018)
  5. legközelebbiszomszéd-keresések (Xing et al. 2015; Faruqui and Dyer 2014; Artetxe et al. 2016)
  6. újdonságok

MTA NYI

Oktatók

Makrai Márton