Keresés

Részletes keresés

nadamhu Creative Commons License 2004-08-16 11:03:59 32

Szia, nyaralni voltam, ezért reagálok ilyen későn.

 

Jelenleg hol tartanak a profik a művelt nyugaton? A mo-i helyzetet leírtad.

Túl sok ismeretem nincs ezen a téren. Egyszer egy Németországi cég megvett nekünk egy nem túl olcsó Német->Angol fordítóprogramot (Systran). A fordítás éppen csak hogy érthető volt (már ahol érthető volt): amennyire én tudom, még a művelt nyugaton is csak alacsony minőségű, szövegértést támogató fodítások születnek.

 

Meddig fogsz tenmagad eljutni? Mi a célod, mit látsz reálisnak a magad esetében.

Amit eddig csináltam (1.* verzió), azt egy viszonylag ad-hoc 'prototípusnak' tekintem, ami segített abban, hogy valamennyire megismerjem a feladat minden részét, de egyiket sem túl mélyen. (Kivéve a morfológiát, ott leástam addig, hogy 'megoldottam' a feladatot.) Ezt kb. úgy lehet tekinteni, mintha építettem volna egy viskót.

Már készítem a 2.0-ás verziónak nevezett valamit, ami kevéssé szoftverfejlesztésnek indul: dokumentumokat írogatok, kísérleteket végzek kisebb korpuszokon, modulokat tervezek, nagyon sok kérdést nyitva hagyok, alternatív megoldásokon gondolkodom. Eddig mindenáron egy működő fordítót akartam magam előtt látni minél gyorsabban, de most, hogy már látom, hogy ez valamilyen szinten megoldható, megelégszem azzal, ha mondjuk egy év után még mindig csak egy angol nyelvtani elemzőm van, de az 'olyan'. Szóval olyan ez, mintha egyedül kezdenék építeni egy piramist, de ezt semmiképpen nem egyedül akarom majd végigcsinálni, időközben keresek majd társakat. Ha van kedved ilyesmivel foglalkozni, téged is szívesen látlak majd, ez egy hosszútávú projekt lesz.

Érdekes kérdés a szemantika, de mint említettem, a jelenlegi fordítómon még szintaktikai szinten is lehetne bőven javítani. Első részfeladatként tehát egy viszonylag igényes angol szintaktikai elemző írását tűztem ki célul. (Olyat, ami legalább több alternatíva között egy esetként felismeri a helyes szerkezetét minden, az 500 oldalas 'Gyakorlati Angol Nyelvtan' című könyv példamondatának. :)

(Sőt, ennél többre van szükség, mert ezek e példamondatok bizonyos szempontból még mindig túl szabályosak.)

A hozzászólás:
Aller-gen-etikus Creative Commons License 2004-08-06 17:22:39 30
Szia Nadamhu!

 

Garázs, összetákolt

 

A garázs volt inkább a fontos mintsem az összetákol. Akkor pontosítok:

az a kor járt le, amikor egy két ember gazdasági potenciál, háttér nélkül összehajol és minimális eszközigénnyel egy kereskedelmileg sikeres applikációt létrehoz. Például olyan jellegűeket mint az Excel, Winword, stb.

 

Azt ugye belátjuk, hogy egy (természetes nyelv) fordító komplexitásában nem hasonlítható egyetlen ilyen jellegű applikációhoz sem. 

Az applikáció használói hajlandóak voltak a számukra újat elfogadni és megtanulni.

Fordítás esetében a legkisebb eltérésen, szokatlanságon fanyalogni fognak.

 

A fordítónál a nyelvi háttér iszonyúan komplex modellt feltételez.

 

Magát a programozási részt nem tartom akkora kihívásnak mint amekkora kihívást a nyelvészeti, és nyelvművelői munkák felhasználásával a fordítói modell megalkotása jelent.

 

Nem véletlen a nyelvművelői terület említése részemről, a köznyelvi, vagy az irodalmi színvonalú output mint kívánalom esetén ez elkerülhetetlen. 

 

Egy jó fordítónak pl. adaptívnak is kellene lennie, fel kell ismernie például, hogy valaki bizonyos rövidítéseket használ,  pl. a „hogy” helyett csak „h”-t. Az esetleges nem értelemzavaró félregépeléseket.

Azt is ha az input szöveg valamelyik szabálynak nem felel meg, de a mondanivalója nem kétséges, ha ember fordít.

Új összetételt kezdek el használni mint pl. te tetted az alfeladat-tal.

 

(Jó ezeket persze egynyelvű emberi beavatkozással meg lehet oldani és már csak szabályos szöveg kerül a fordítóra.)

fordítási kategóriák

 

A kategóriák felvázolása után hiányzott a kérdésem, amit végülis részben meg megválaszoltál.

Akkor most teszem fel azokat a kérdéseimet, amik akkor kimaradtak. Ebben vagy ehhez hasonló koordináta, kategória rendszerben hogy látod a gépi fordítás jelenét, jövőjét.

 

Jelenleg hol tartanak a profik a művelt nyugaton? A mo-i helyzetet leírtad.

Van-e kitűzött cél? Hol tartanak ott ahol van pénz, paripa és fegyver. Ismered vannak e ezen a területen?

 

Meddig fogsz tenmagad eljutni? Mi a célod, mit látsz reálisnak a magad esetében.

 

Van két kérdésem is.

Milyen modelled van az adaptivitás illetve a kontextus kezelésére? 

 

Azt ugye beláthatjuk, hogy nem lehet valami olyan felfedezésre, durranásra várni, számítani, ami alapjaiban megrengetné ezt a területet, és egyik napról születnének a használhatóbbnál használhatóbb a fordítók.

 

A nyelvek ilyen, olyan szinten le vannak írva :-). 

Nyelvművelés is megfogalmazta szabályszerűségekbe és kivételekbe foglalva a maga elvárásait a köznyelvről és az irodalmi nyelvről.  

Programozási eszközök sem jelentenek akadályt. 

Nem beszélve a gépi kapacitásokról.

Ez nem egy új téma, már húsz évvel ezelőtt is írtak róla.

Igény is van rá

 

Mégsem vehetek le az üzlet polcáról ilyen terméket, a következő egy két

év(tized)ben) biztosan.

 

Lehet, hogy a fordítói lobby, mafffia akadályozza ezt is mint a nullponti energia kicsatolását a olajlobby? :-)))

 

agglutináció

Elismerem, hogy a nyelvünk erősen agglutináló jellege, csak egy behatárolt többletfeladatot támaszt a fordítóval szemben. Ez valóban csak egy alfeladat, ez esetben a tökéletes megoldás sem kizárt. 

 

hozzáértésem

Egyébként miből, melyik mondatomból olvastad ki, hogy a laikusi szintnél magasabbat vindikálok magamnak?

 

Fa, erdő, dzsungel

Nem hiszem, hogy én ellendrukkered lettem volna a levelemben, sőt.

Inkább nagyra értékelem, ezt a fajta hozzáállást. Azt hiszem, csak az elérhető cél távoliságának és az odavezető út göröngyösségének megítélésében van köztünk hangyányi különbség.

 

Ne vedd fenyegetésnek, de a vigyázó szememet e fórumra és ameddig publikus a fordítódra vetem.

 

üdvözlettel:

aller

 

 

Előzmény:
nadamhu Creative Commons License 2004-08-02 18:01:30 27

Szia Aller-gen-etikus!

 

Mára a garázsban összetákolt számítógépek mintájára az ilyen szoftverek kora is sajnos lejárt. 

Nem tudom, hogy pontosan mit értesz ez alatt, leírom hogy én hogy látom: (ha az összetákol szó negatív jelentésétől eltekintünk, és inkább behelyettesítjük a szebb kísérletezés szóra): a kísérletezés szerepe akkor csökken le, amikor egyértelművé, kiforrottá válik egy adott témakör technológiája. A gépi fordítás nem ilyen, még mindenki sötétben tapogatózik, tehát nem lépett még át a kiforrott nagy bizniszt jelentő 'szoftveriparba', tehát a kísérletezés ideje még nem járt le, javában tart.

 

Néhány fordítási kategóriát felvázolok:

Ezekkel nem sok újat mondtál, nyilván az alacsonyabb szinvonalat igénylő, megértést támogató fordítás az első bástya, amit a gépi fordítás megpróbél bevenni.

 

Gondold csak meg, nem csak neked jutott eszedbe ez, minden országban vannak nyelvtudományi intézetek, vállalkozások ezeknél kézenfekvő, hogy a nyelvi hátterét kidolgozzák s a piacra lépjenek egy ilyen termékkel. Elkéne gondolkozni azon, hogy miért nincs ilyen.

Egyrészt világszerte van ilyen. Tehát szűkítsük le a kérdésedet Magyaroszágra: A nyelvtudományi intézetek láthatólag nem képesek ilyesmire, úgy tudom voltak induló projektek, amiknek az eredményért nem látni. Másrészt gondolom nem is céljuk állandóan ekkora kihívásokkal küzdeni, ráadásul ez nem teljesen elméleti munka, programozási tudást is igényel, ami gondolom egy nyelvtudományi intézetben nem egy elfekvő erőforrás. Akár szégyennek is nevezhetjük, hogy amekkora erőforrásaik vannak, nem tudtak összehozni valamilyen fordítóprogramot, de ha láttál már akadémiai fejlesztést, akkor ezen nem csodálkozol.

Ami a cégeekt illeti, ma Magyarországon tudtommal egyetlen cég döntött úgy, hogy ebbe a kutatásba komoly pénzt hajlandó beleölni (több tíz emberévnyit), ez a Morphologic Kft., akiknek mostanában alakul(t) ki ilyen megértéstámogató eszközük, bár nem próbáltam még ki.

 

Szabadidőben legfeljebb a első szintjéig lehet eljutni.

Nem csak szabadidőmben akarom ezt csinálni, remélem ez egy múló állapot, hogy szabadidőmben csinálom. Az enginet és a mögötte lévő elméletet folyamatosan fejlesztem.

 

Ha már olyan nyelvre fordítunk ami nemeket is alkalmaz, és más neme van az asztalnak, mint a tányérnak ott már egyértelműsíteni kell és akkor mi alapján fog dönteni a gépi fordító tudáshalmaz hiányában?

Nem tudáshalmaz hiányában fog dönteni. Ma is van a rendszeremben egy primitív szemantikai modell, és nem félek szemantikai témájú könyveket olvasni, illetve komolyabb szemantikai modelleket kitalálni. A legújabb modell terveim szerint a 'szemantikai réteg' nem más mint döntések halamza. Ez élesen le van választva a nyelvtani elemző modultól. A nyelvtani elemző modul 'döntésképtelen', ezért olyan kimenetet ad ki, hogy hát vagy ez a struktúra érvényes itt, vagy az, itt lehet ez is, meg az is, kedves szemantikai modul, döntsél ebben a temérdek kérdésben.

A döntési modellt nem akarom előre rögzíteni. Többféle stratégiával is nekimegyek majd ugyanannak a problémának, bizonyára hibrid megoldásnál kötök majd ki: statisztikai módszereket fogok keverni szabályalapúakkal, a keresési térben lehet, hogy direktben fogok keresni, de lehet, hogy genetikus algoritmust is használok majd.

Hiába van jó szemantikai modell, a szintaktikai modell kulcsfontosságú, és az én esetemben még inkább itt bukik el sok mondat. Egy buta, döntésképtelen szintaktikai elemzőt sem gyerekjáték megírni, most elsősorban a szintaxis leíró nyelv leíróerejét próbálom növelni, ehhez olyan absztrakciókat kell bevezetnem, amelyeket eddig nem kezeltem. Pl. tipusfüggetlen generalizált elemző szabályok:

az and, or, stb... szavakkal való kombinációk a nyelv egy csomó szintjén előfordulnak. Pl. 'A, B and C' vagy 'A and-or B' stb... egy csomó esetben releváns szintaktikai elrendezés, ha A,B,C ugyanolyan típusúak, de mindegy milyen típusúak. Tehát bevezethető a * (csillag) 'kombináció': Ahol eddig a szabálybázisban A állt, oda tehetek *A-t, ekkor A mindenféle ilyen and-or stb... jellegű kombinációját leírtam. Ki fogom egészíteni a nyelvtani elemzőmet az opcionális elemek kényelmesebb leírásával, stb...

 

A magyar nyelv pedig az aglutináló jellege folytán még nehezebb helyzetben van a gépi felismerés terén mint pl a fuzionáló, flektáló nyelvek.

Ez a típushiba árulja el, hogy nem igazán értesz a dologhoz. A morfoszintaktika triviális probléma akár a magyar nyelv esetében is a többi felmerülő problémához képest. Elmondanám, hogy a Word-ben lévő helyesírásellenőrző már nagyon régen tud 'ragozni', egyébként ezt az alfeleadatot az én programom is gyakorlatilag tökéletesen kezeli.

 

Nem beszélve arról, hogy még nem készült mahgyar nyelv tudományos igényű leírása ami nélkül nem teljes a dolog.

Ez megint egy vicces kijelentés. Mi az hogy tudományos igényű leírás? Szegény nyelvészek ezen dolgoznak, ez egy nagyon nem triviális munka. Az egész nyelvészet erről szól: Modelleket alkotnak, melyek egyre egzaktabbak, egyre jobban közelítik magát a nyelvet, de már ne is haragudj, soha nem lesznek tökéletesek, ls persze hogy gyerekcipőben járnak, hiszen a nyelv iszonyatosan bonyolult. Tulajdonképpen én magam is az angol és a magyar nyelv 'tudományos igényű' modelljén dolgozok, hiszen egy fordítóprogram nem más, mint 2 nyelv egyfajta modellezése.

 

Az az érzésem, hogy csak egy-két fát látsz mindössze. S közben nem vetted észre, hogy erdőben vagy, mit erdőben: dzsungelban.

Amennyiben célod használható, eladható termék lenne, szóval ezt nem lehet így kalákában, fusiban létrehozni

Érdekes, hogy pont olyan ember mondja ezt, aki láthatólag nem ért komolyabban a témához. Eddig akivel leveleztem erről, az volt a benyomásom, hogy minél jobban ért valaki a nyelvészethez, annál pozitívabban áll a dologhoz, egy nyelvésszel szokam is levelezni részproblémák lehetséges megoldási stratégiáiról.

Ami meg a fusit illeti: az informatikához konyítok valamelyest, erről még papírom is van:) nyelvészetből pedig folyamatosan hozom fel magam szakkönyveket olvasva, és sokat elmélkedve, nem hiszem, hogy kevesebb esélyem lenne eben a témában, mint másnak.

5 év múlva meglátjuk, én egy végtelenül türelmes ember vagyok.:)

Ha kedveled azért, ha nem azért nyomj egy lájkot a Fórumért!