Igen, jo otlet. A google-t tudom hasznalni arra, hogy nehany (szaz) szo felhasznalasaval elozetes felmereseket vegezzek arrol, hogy melyik modell vajon hogyan teljesit. (Fogok is ilyen mereseket vegezni.) Azonban egy teljes, egy forditoprogram altal hasznalhato ketnyelvu 'korpusz'/adatbazis kialakitasa kezimunkat igenyel, tehat ott oriasi koltseg az N*N-es meret. (Persze vannak otleteim az N*N csokkentesere pl. a szavak kategoriakba rendezesevel, vagy automatikus 'szo terkep' keszitessel, ahol a szavakat egy N dimenzios terbe rendezzuk ugy, hogy akik elofordulnak egy mondatban azok vonzzak egymast, amugy a szavak taszitjak egymast...)
Erdekes esettanulmany lehet 'mas karan tanulni', vagyis ahelyett, hogy hamar kijonnek egy ujabb forditoprogrammal, eloszor szeretnek sokat arrol elmelkedni, hogy a letezok miket rontanak el.
Vegyunk egy reszletet egy nemregi index cikkbol, ami a letezo angol-magyar forditokat vizsgalta:
"Driver charged with killing mom, 2 kids, vagyis egy autóst azzal vádolnak, hogy elütött egy nőt meg a két gyerekét. A Morphologic változatában ez így hangzik: Vezető, akit ölő anyuval, 2 gyerekkel vádoltak, amiből, ha komolyan vesszük, sanda politikai bérgyilkosság története körvonalazódik. A Dativus viszont eredeti szóhasználattal színesíti a témát, amikor közli: Cséplőgépkezelő gyanúsított gyilkoló mutter, 2 gyerek,"
"Driver charged with killing mom"
Eloszor is belathato, hogy a driver-t az elozoleg felvazolt modellel 'sofor'-nek lehet forditani. Foleg ha az elozo modellbe beleepitjuk meg azt is, hogy egy szopar eseten a szintaktikai elemzo meg azt is elkuldi a szemnatikai modellunknek, hogy a szopar milyen relacioban ertendo (jelen esetben allitmany-targy relacio all fenn, ezt jeloljuk 'Targy'-val), vagyis a szemantikai elemzo ilyesmit kap a bemenetre:
Targy(charge, driver)
A google-on rakeresve a "charge a driver" kifejezesre lathato, hogy a modellunk helyesen dontene a 'driver' es a 'charge' forditasanak ugyeben. Tulajdonkeppen a Morphologic szoftvere is helyesen dontott, csak elkovettek azt a hibat, hogy a 'sofor' helyett a 'vezeto' szot alkalmaztak, aminek a magyarban mas jelentese is van, igy felrevezeto lehet: a gepi forditas eseten minel kevesebb jelentessel biro szinonimat kell hasznalni, hiszen a cel a megertetes.
Most jon azonban a kemenyebb dio:
"Driver charged with killing mom"
ez
"Sofor, akit olo anyuval vadoltak"
vagy
"Sofor, akit azzal vadoltak, hogy megolte anyut"
It a nyelvtani elemzesnel kell egy ponton 2 lehetoseg kozott donteni. Hogyan lehet rajonni, hogy a masodik jobb?
Talan ugy, hogy a szemantikai elemzo ket lehetoseget kap meg:
WITH(charge, mom)
WITH(charge, kill)
Az eddig alkalmazott korpuszos szemantikai modellunk nyilvan a masodikat hozza ki gyoztesnek. Tehat van remeny ennek a feleadatnak a megoldasara is.
Hogy hogyan lesz
"Sofor, akit azzal vadoltak, hogy megolte anyut"
helyett
"Sofor, akit azzal vadolnak, hogy megolt egy anyat"
azon meg nem gondolkodtam el, de ez mar nagyon nem tunik trivialisnak...
Hasznald a googlet, abban mar megvan az N*N-es korpusz, es folyamatosan bovul. Beritam, hogy "plain arrives", 180 eredmenyt adott, es gyanitom egyetlen egy sincs, ahol nem a repulo gepet ertenek alatta.
Ujra foglalkozom a gepi forditas temakorevel, bar most nem celom minel gyorsabban egy mukodo gepi forditot letrehozni, inkabb elobb szabadon kutatgatni es gondolkodni a temaban.
Van egy kulonosebb elmelyedes nelkul is konnyen megertheto, es matematikailag marha egyszeruen megfogalmazhato reszproblema, amin esetleg kozosen gondolkodhatnank.
Tegyuk fel, hogy van egy jol mukodo gepi forditonk, ami mindent tud, tokeletesen ragozik, jol kezeli a szorendet, csak egy dolgot nem tud: nem tudja eldonteni, hogy egy adott fonevnek, melleknevnek vagy igenek melyik jelenteset kell az adott mondatban venni.
Vagyis amikor azzal talalkozik, hogy 'the plane arrives', akkor tudja, hogy a 'plane' fonev, tudja, hogy ugy kell forditani, hogy 'a repulogep erkezik' vagy ugy, hogy 'a sik erkezik', de donteni nem tud.
A feladat: keszitsunk modellt a leheto legkevesebb munkaval ugy, hogy statisztikailag a leheto legtobbszor dontson jol ilyen kerdesben.
Vegyunk egy trivialis modellt:
Vegyunk egy korpuszt, amibol nyerjunk ki egy N*N-es matrixot, ami azt mondja meg, hogy melyik magyar szo melyikkel mennyire szeret egy mondatban elofordulni. (relativ gakorisag)
Vegyunk az adott megoldando mondatra vonatkozo dontesek direkt szorzatat. (pl. egy szo 2 lehetoseggel es egy masik szo 3 lehetoseggel az 6 lehetoseg). Menjunk vegig az osszes lehetosegen, es nezzuk meg melyik a legjobb: ezt tegyuk ugy, hogy nezzuk meg az osszes szopart es vegyuk a matrixban levo pontokat, amit szummazzunk az osszes mondatbeli parra.
Ez a trivialis modell azert gyenge, mert a mukodeshez gyanithatoan nagysagrendileg N*N-es meretu korpuszt igenyel.
Vajon milyen hasonlo ereju modellt lehet kidolgozni, ahol mar egy szerenyebb meretu, mondjuk N*log(N) meretu korpusz is labdaba rughat?
Egyaltalan kinek milyen otletei vannak ilyen modellre?
Vajon mennyit ront az eredmenyen az, hogy nem hasznaljuk ki itt a mondtbeli szavak egymashoz valo viszonyat ennel a dontesnel, hanem csak omlesztett halmazkent modellezzuk oket?
Ilyesmiken (is) gondolkodok mostanaban; kivancsi vagyok, hogy van-e valakinek hasznalhato otlete. Szerintem ebben a temaban meg nagyot lehetne alakitani mind tudomanyos szempontbol, mind penzugyileg, bar mar ovatos vagyok a korabbi szereny eredemenyeim miatt.
szemantikailag 2 ertelmu, mert X lehet az ostorozas alanya, vagy targya is. Ennek eldonesehez a szemantikai modulnak a vilagrol alkotott tudasanak kell lennie.
De pl. angol-magyar forditasnal nem is kell ezt a szemantikai kerdest feltetlenul eldonteni, a birtokviszonyt szerintem lehet birtokviszonynak forditani, oszt' jol van. Nem?
Ez nekem egy jo, hasznos es kerek elgondolosnak tünik Kossz a biztatast.
Az R relaciod nyilvan egy rendezesi relacio, tehat egyertelmüen reprezentalhato egy iranyitott graffal (a-bol akkor mutat el b-be, ha R(a,b), de nincs c, amire (R(a,c) es R(c,b)). A graffeliras ilyeten valo egyertelmusegere nem is gondoltam, de valoban igaz (persze abban a reprezentacioban, amelyben az ekvivelenciaosztalyok mar le vannak cserelve egy elemre.)
Ez nekem egy jo, hasznos es kerek elgondolosnak tünik.
Az R relaciod nyilvan egy rendezesi relacio, tehat egyertelmüen reprezentalhato egy iranyitott graffal (a-bol akkor mutat el b-be, ha R(a,b), de nincs c, amire (R(a,c) es R(c,b)).
Lehet, hogy kicsit tul sok 10 szavas helyes mondat van, hogy evvel a modszerrel kezelni lehessen, de az is lehet, hogy nem,
Kivancsi vagyok, hogy pl. a magyar (vagy angol) nyelvben egyaltalan hany különbözö morfemaosztalyt kapsz.
Hamar belathato, hogy az R relacio reflexiv, tranzitiv, nem szimmetrikus es nem is antiszimmetrikus.
Ha felrajzoljuk az R relacio altal kirajzolt grafot, ugynevezett 'nyelvi terkepet' kapunk. Ebben vannak 'ekvivalencia szigetek' (minden x,y eleme S-re R(x,y)).
Intuitive latszik, hogy pl az igek nem alkotnak szigetet, met a 'targyas igek' es 'targyatlan igek' nem mindig felcserelhetoek. Azonban vannak szigetek; ezek szemleletesen olyan morfemakat jelolnek, amelyek nyelvtanilag mar megkulonboztethetetlenek.
A szigeteket egyetlen elemukkel is helyettesithetjuk a kesobbiekben.
Definicio: 'b' morfema elodjeinek halmaza azon 'a' morfemak halmaza, amelyekre R(a,b)
(Szemleletesen azon 'a'-k halmaza a nyelvi terkepen, amelyekbol el lehet jutni 'b'-be.)
Definicio: 'k' kifejezes elodjeiek halmaza azon kifejezesek halmaza, amelyekbol egyes morfemak megengedett lecserelesevel el lehet jutni 'k'-ba.
Ezen elmelet lehetseges gyakorlati alkalmazasa:
MAX n-hosszu kifejezes helyesseget el lehet donteni naiv modon ugy, hogy a szabalybazisban felsoroljuk a max. n-hosszu osszes helyes kifejezest.
Az uj elmelet segitsegevel 'k' kifejezes helyessegenek eldontesehez elegendo megkeresni 'k' akarmelyik elodjet: ha talaltunk 'k' hoz elodot a szabalybazisban, akkor 'k' helyes.
Asszem' ez az a pont, amikor el kell kezdenem konkret reszletekbe merulnom: Azt hiszem lassankent elkezdem kidolgozni ezt a nyelvi terkepet.
Szoljatok, ha valamit elneztem, tevuton jarok, vagy van kiegeszito otletetek!
2) Attol, hogy egy forditogepnek szuksege lehet figyelni a jelentesre, attol a program tervezesekor, meg nem kell osszekeverni a jelentest (szemantikat) a nyelvtani helyesseggel (szintaxissal).
3) Nem lattam, hogy akarmilyen relaciot bevezettel volna, aminek koze lenne a szemantikahoz.
"Szerintem, pont a hozzaszolasaid bizonyitjak, hogy a szemantika es a szintaxis kozti hatarvonal egyaltalan nem elmosodott."
A cel ugye egy leheto legjobb forditogep. Egy forditogep nem lehet eleg jo, ha nem tud mit kezdeni a szovegkornyezettel, azaz a szemantikaval. Ahoz, hogy a forditogep tudjon mit kezdeni a szemantikaval kifejezetten hasznos, ha 'elmossuk' a hatarokat szemantika fogalmaval kapcsolatban. Ez megint egyfajta 'soft computing' gondolkodas, megertem hogy tavol all a te erosen hard computing felfogasodtol.
Az altalam definialt szemantika relacio segitseget nyujt ebben, mig a te leegyszerusitesed nem.
"Ha persze atdefinialod a fogalmaidat, akkor tetszoleges zurzavart kelthetsz, de ne vard el a forumtarsaktol, hogy ebben partnerek legyenek."
Ha van egy ember, aki hajlando venni a faradsagot, es olyan szemuveggel nezni a problemat, ahogyan en teszem, mar megeri. Az altalam bevezetett szemantika relacio definiciot meglehetosen hasznosnak erzem a jovo szamitogepes forditoi szempontjabol, ugyanis elonyos joslasokat tesz a szamitogepes megertesre vonatkozoan. Tavol all tolem a 'zurzavar' keltese.
Furcsa, hogy nem ertitek a mondanivalot. Lazan, pongyolan fogalmazok, de ez miert baj? Nehezseget okoz 'osszeszinkronizalni' a mentalis kepeinket? Nadamhu akkor miert 'erzi' az ertelmet annak amit mondok (es ennyi eleg is)?
Mi nem ertheto azon az intuitiv meglatason, hogy egy 'osszefugges' az egyik nezopontbol szemantika, mig a masikbol szintatika? Ti nem erzitek ezt az eros meglatast?
Krullafarancos, hogy a greternoki kalaflancok a britullara nincsenek gropullalva, mig a sternifragra igen.
Az viszont mindenkeppen szedillalt erturia, hogy gyumbokolsz-e ilyen srivallalt dereblyet krupillalni e ket jumomba kozott (es ezzel egyuttal frecillalni a sribulad prubolait), mert szamomra egyre inkabb ugy csumizal, hogy a safrang-bufrang grabanc pregrikulans. (Egy fruzicios polinnan virupolaltam egy poliziciai bufrang stegilat, nem detialom, hogy ucsilaltad e.)
Ugy altalaban a szintektika-szemantika viszony szerintem is relativ, nezoponttol fuggo.
Hogy is nez ki ez:
Van egy jelsorozatunk/adathalmazunk, amelyet szeretnenk 'ertelmezni': valami magasabbrendu strukturat letrehozni. Ahhoz, hogy az ertelmezes eredmenye ne 'null' legyen, ahhoz a jelsorozatnak ki kell elegitenie valamilye nszabalyszeruseget. Ezt a szabalyszeruseget szintaktikanak hivjuk. Annyibol tenyleg relativ, hogy tenyleg attol fugg, hogyan akarjuk ertelmezni az adatstrukturat, es igy elkepzelheto, hogy az altalad emlitett XML esetben felfoghatjuk a dokumentum szintaktikajanak az XML-t is, de magasabb szinrol szemlelve az XML Schemat is.
A termeszetes nyelvek eseteben viszont szerintem meglepoen egyertelmu, hogy mi ertunk szintaktikailag helyes kifejezes alatt (csak meg nem tudjuk formalizalni); ezt a belenk epitett nyelverzek adja. A belenk epitett nyelverzeket egy megbizhato boolean kimenetu fuggvenykent foghatjuk fel, amely barmely kifejezesre eldonti nekunk, hogy szintaktikailag helyes-e, igy gyakorlatilag vegtelen bitnyi informaciot szolgaltat. Ezt a belenkepitett szintaktikat valoszinuleg erdemes megismerni ahhoz, hogy aztan az ertelmezes fele vegyuk az iranyt.
Erdekes, hogy a lecserelesi sejtesek a szintatikara nincsenek hatassal, mig a szemantikara igen.
Az viszont mindenkeppen fontos kerdes, hogy akarsz-e ilyen eles hatart szabni e ket fogalom kozott (es ezzel egyuttal korlatozni a rendszered kepessegeit), mert szamomra egyre inkabb ugy tunik, hogy a szemantika-szintatika viszony relativ. (Egy masik forumon adtam egy szemantika matematikai definiciot, nemtudom olvastad-e.)
Az axiomajelolteket ezentul probalom inkabb sejtesnek nevezni.
Ujabb otlet:
Az 'axiomatikus nyelveszet' gyenge kezdeset probalom feldobni allitasok egy ujabb csoportjaval: ezeket nevezhetjuk lecserelhetosegi allitasoknak.
Ime egy pelda:
Sejtes:
'Az angolban nem konstrualhato olyan szintaktikailag helyes kifejezes, amelyben ha a "my" szot lecsereljuk "the"-re, akkor ne kapnank szinten szintaktikailag helyes kifejezest.'
Ez az allitas pl. kiterjesztheto az osszes kovetkezore is: (my/your/his/her/its/our/their) es ezen 'birtokos determinansok' es a 'the' determinans egy mely nyelvtani rokonsagat mutatjak.
Ilyen jellegu lecserelhetosegi sejtesek egy sora jutott most eszembe, talan ez az az irany, amerre kutatni kell: a lecserelhetosegi allitasok erdekes relaciokat teremtenek szavak (morfemak) kozott.
Varom az eszreveteleket!
"En ugy vettem eszre, hogy a lehetetlen es biztos esemenyek menten lehet felterkepezni a nyelv strukturajat."
Teljesen egyet ertek. Azonban ha a felteteles valoszinusegi modellt 'futtatva' kijon egy olyan matrix struktura, amely csak egyeseket es nullasokat tartalmaz, akkor egyszerre megkaptad a nyelv strukturajat is. Azaz a valoszinusegi modell sejtet egy heurisztikus modszert, amellyel felterkepezheted a nyelv felepiteset. Persze van 'erdekessegi faktor' is a strukturak egyeni felterkepezeseben, es ezt teljesen meg is tudom erteni.
En viszont ugy erzem, hogy a te 'ha-akkor' modelled altalanositasa a felteteles valoszinuseg modell. Ez igaz, meg nem is vonom ketsegbe a valoszinusegi modell sikeret, de nem minden esetben celszeru igy altalanositani.
Ha valamirol biztos allitasokat tudsz mondani, akkor konnyebb dolgod van, hiszen sokkal konnyebb messzemeno kovetkezteteseket levonni.
ezert peldaul nem ertem mit jelent az, hogy 'a felszinen hasznaljak'. Arra gondolok pl., hogy ma meg a szintaktikat is nehezen tudjak kezelni, ezert konkret szavak egyuttallasanak felteteles valoszinusegevel dolgoznak. Ha mondjuk a szintaktikara szinte egzakt modellek lesznek, akkor a felteteles valoszinuseg a szemantikai szinten lesz hasznalando. (Pl. az allitmany a 'go', es az egyes mondatreszek felteteles valoszinusege donti el, hogy ezs most 'megy' vagy 'jár').
En a szamitogepes nyelveszet jovojet ugy kepzelem el, hogy valami 'hierarchikus valoszinusegi matrixok' elemeinek valoszinusegi valtozokkal valo kitoltese empirikus uton ugy, hogy a kezdoertek (0.5)-rol lehetoleg minnel inkabb szelsoertek fele tolodjon el. Nem vonom ketsegbe ennek a modellnek a sikeret. Mindossze erdemes extra figyelmet szentelni a 0 valoszinusegu (sot lehetetle esemenyekre) mert sokat elarulhatnak.
En ugy vettem eszre, hogy a lehetetlen es biztos esemenyek menten lehet felterkepezni a nyelv strukturajat.
Pl az olyan axiomak mogott, mint pl. hogy a 'the' nem allhat a mondat (sot semmilyen kifejezes) vegen olyan 'mely' tulajdonasagtulajdonsag all, hogy a 'the' olyan determinanas, ami ha torik ha szakad _mindenkeppen_ determinal valamit, ami valahol utana kovetkezik. Szerintem izgalmas egzakt igaz allitasokat keresni a nyelvrol, amit olyannyira nem ismerunk.
En viszont ugy erzem, hogy a te 'ha-akkor' modelled altalanositasa a felteteles valoszinuseg modell.
"A felteteles valoszinusegi modellek szerintem azert nyertek teret a nyelveszetben, mert meg nagyon nem ertjuk a nyelvet, es ez eleg kezenfekvo modell akkor, ha szinte alig tudunk valamit a nyelvrol."
Kerdes, hogy kell-e jobb ennel? Mint ahogy irtam, szerintem a te modelled a felteteles valoszinusegi modell specilaizacioja. (Mint ahogy egy formalis nyelv nyelvtana is felfoghato ennek.)
Valoszinuleg egyebkent nem teljesen ismerem a felteteles valoszinusegei modellek hatulutoit, ezert peldaul nem ertem mit jelent az, hogy 'a felszinen hasznaljak'.
En a szamitogepes nyelveszet jovojet ugy kepzelem el, hogy valami 'hierarchikus valoszinusegi matrixok' elemeinek valoszinusegi valtozokkal valo kitoltese empirikus uton ugy, hogy a kezdoertek (0.5)-rol lehetoleg minnel inkabb szelsoertek fele tolodjon el. Magyarul akkor tratalmaz hasznos informaciot egy matrix elem, ha erteke minnel kozelebb van nullahoz vagy egyhez.
Szerintem ezt folytatva szepen el fogsz jutni a felteteles valoszinuseghez. Nem feltetlenul ez a celom. A felteteles valoszinusegi modellek szerintem azert nyertek teret a nyelveszetben, mert meg nagyon nem ertjuk a nyelvet, es ez eleg kezenfekvo modell akkor, ha szinte alig tudunk valamit a nyelvrol. Viszont szerintem amint egyre finomabb modelljeink lesznek a nyelvrol, egyre jobban ismerjuk meg a nyelveket, ugy fog csokkenni a valoszinusegi modelleknek a szerepe a nyelveszetben; nem a felszinen hasznaljak majd oket, hanem legfeljebb majd reszfeladatokra: azokban a modulokban, ahol meg a legtobb a bizonytalansag.
"A tapasztalatom szerint az 'is' segedige elott nem lehet ige [...]"
Ezt ugy is mondhatnank: Annak a valoszinusege, hogy 'is' kovetktezik felteve, hogy az elozo szo ige volt gyakorlatilag nulla. Talan ezt megpontosabban Markov lancokkal lehetne leirni.
:)
Igen, de azt olvastam, hogy az agyban levo nyelvi kompetencia egy resze erosen oroklottnek tunik. Az egyik bizonyitek, hogy az meber-gyerekek tul konnyen tanuljak meg a nyelveket, a csimpanz pedig nem kepes ilyesmire.
A masik bizonyitek, hogy bizonyos szempontbol teljesen fuggetlen nyelvekben is van valami kozos.
Nos, en abban bizok, hogy legalabb ennek az univerzalis resznek a termeszetet sikerul egyszer megertni (ezt szerencsere nem ember tervezte:)), a tobbi kovetkezetlenseget azutan mar csak-csak lehet kezelni.:)
