Bogdán Gábornak volt egy jó könyve az informácielmélettel kapcsolatban. Eszerint:
Vannak a jelek. (Felős az ég ukrajnában), az észlelt jel, az az adat. (Kinában sokmillióan élnek), és egy szervezet/ gép által felhasznált adat az információ. Egy gáz állapotleírásával foglalkozó tudósnak egy gáz helyzete információ. Egy hívő muzulmánnak a korán sok információt ad, egy kereszténynek kevesebbet.
A tudás mindenesetre mérhető, egy könyv reprodukálható. Viszont nem annyi információt tartalmaz, amennyi benne van! Egyrészt az emberi kommunikáció zajos csatornákon zajlik, így szükséges némi redundancia. Nagyon durva, hogy a Törzsasztal Játékok forumon könyvcímeket félbevágott betűkből, sőt akár 1 pixeles méretből is ki lehet találni! Mivel a nyelv nem "tökéletes", így létrehozhatók olyan mondatok, amiből nem lehet egyértelmű információt kinyerni, annak ellenére, hogy lefordíthatók számos nyelvre. (pl. Láttam embert látcsővel a hegyen. (Ki volt a hegyen? és kinél volt a látcső?))
Magát a pi-t előállító program esetén bemenetként megkapod a számot amit vizsgálsz, az összes számot, amit felhasználsz, mint osztó, és magát a programot. Ehhez képest a kimenet már nem túl sok. Az igaz, hogy a kimenetet vissza lehet vezetni a bemenetre. Ez alapján vagy a müveleti jeleknek vagy magának az algoritmusnak hatalmas információtartalma van. Akárcsak egy fraktálnak, ahol egy képletből és egy vagy több kiindulási értékből(attraktorból) egy rendkívül információdús geometria ábrát lehet létrehozni.
Szerintem információ nem vész el, legfeljebb algoritmussá alakítódik.
Sajnos a topicnak nincs sok ertelme, ugyanis az informacio SZUBJEKTIV. Kimesz az udvarra, latod, hogy felhos az eg. Ezutan neked mar nem jelent semmit az, hogy "felhos az eg". Persze ebbol kovetkezhetne, hogy mivel egyre tobb es tobb infot nyerunk az univerzumrol, elobb utobb el is fogy. Viszont a kvantummechanika jelenlegi allasa szerint viszonylag sok teljesen veletlen esemeny tortenik, ugyebar ezekrol ujra infot kellene gyujtenunk (pl.elektron mozgasok vagy akarmi).
Es meg nem beszeltem a vilagegyetem tagulasarol.
Sok erdekes elkepzeles bukkant fel, de szerintem egyiknek sincs sok letjogosultsaga...sajnalom, ha megolom ezzel a topicot ;)))
És tegyük hozzá, hogy a tömörítés (már ha nem veszteséges az eljárás), NEM változtatja meg az adott állomány információtartamát, csak az állományt reprezentáló entitások (szándékosan nem írtam bitet!) mennyiségét.
Ebből persze az is következik, hogy a) az információ nem azonos a reprezentációjával, b)ha a tömörített és az eredeti állomány információtartama azonos, akkor a tömörítés során nem csináltunk semmit magával az információval.
Kedves bástyaelvtárs!
Írod:
"Ha a szövegfájlt még tömörítjük is, akkor megint más információmennyiséget kapunk, pedig a tartalom ugyanaz. Ezért azt javaslom, hogy az információ mennyiségének tekintsük azt a elvileg elérhető legkisebb mérete, amin az adott tartalom még csorbítatlanul tárolható. Az, hogy ez a minimális méret mindig létezik, elég könnyen bebizonyítható, azzal most nem foglalkoznék."
Na most itt adódik egy érdekes dolog. A tömörítés. Milyen tömörítésre gondolsz? A kicsomagoló rutin mérete is beleszámítson ebbe az "elvileg elérhető legkisebb méretbe"? A szükséges hardware háttér (processzor, processzor belső rutinjai) információméretét hogy számolod ki? Mert hogy azt is hozzá kell adni végeredményhez.
Megoldás: az információ értékessége, használhatósága a befogadó, feldolgozó rendszertől függ. Írhatsz egy olyan szövegtömörítőt, ami direkt a szövegtömörítésre van kihegyezve, és segítségével jobban tudod a szövegfájlt tömöríteni, mint egy általános célú programmal (pl. zip). Én írtam már ilyet. Tartozott hozzá egy szótáblázat, persze ennek méretét is hozzá kellett a végén az eredményhez számítani (így is 10%-kal kisebbre tömörített mint a zip).
Szóval ne dobállozunk könnyedén ezekkel a dolgokkal, hogy "letömörítem aztán kész" :-)... No meg a szövegfájlra visszatérve. Tegyük fel, hogy egy regényről van szó. Van benne egy mondat: "Pista bácsi almát evett." Na most hol van e regényben letárolva, hogy mi az alma? Hol van letárolva, hogy mi a "bácsi"? Oké, Pista bácsi bizonyára egy szereplő, ezért róla van valami infó... de a többiről?
Egyszóval: ez a regény az iszonyatosan bonyolult EMBER számára készült, az ő kódrendszerében, "processzorával", kicsomagoló algoritmusaival értelmezhető csak...
érdekes gondolatmenet (föleg az előre jelzett végkövetkeztetés - a pohár viz <-> univerzum info tartama)
Én kiváncsian várom a folytatást.
(elfogadom az info mennyiségre vonatkozó "definiciódat")
Szerintem is a fő kérdés, hogy mi is az információ?
Ehhez mindenkinek ajánlom Halassy Béla "Az adatbázistervezés alapjai és titkai" című könyvét.
Amit ír, azzal nem feltétlenül kell egyetérteni, de a gondolatmenete mindenképpen megfontolandó.
Szerintem az információ nem objektív dolog, az csak az azt feldolgozó egyedekkel összefüggésben létezik. (Ha nincsenek az információt feldolgozó élölények, nincs információ sem.)
Az újonann bevezetett pincekönyv pl. mást jelent a gazdának, a vámosnak és az azt megrágó egérnek.
A megmaradási probléma megoldásához tiszázni kellene, hogy mi az információ!
Amíg ebben nincs egyezség, addig a többi kérdés felvetése felesleges.
Szerintem nem igazán az a fontos, hogy mit tekintünk információnak, hanem hogy hogyan definiáljuk az információ mennyiségét. Az információ valószínűleg nem is definiálható általánosan, mert hogy mit tekintünk annak, az mindig a mi viszonyulásunktól függ. Vegyünk pl. egy könyvet. Ha ezt a könyvet egy mezei olvasó olvassa, akkor számára valószínűleg csak a tartalom lesz a fontos, tehát ha a könyvet valaki beírná egy számítógépbe, és az olvasó a monitoron keresztül olvasná, akkor számára ez ugyanannyi információt jelentene, mint ha az eredeti könyvet tartja a kezében.
Ha azonban egy régi könyvről van szó, és azt egy történész vagy régész vizsgálja, akkor számára fontos lehet a borító, a lapok anyaga, szerkezete, a betűtípus és még ezer formai dolog, ő tehát nem sokat tudna kezdeni a könyv számítógépes változatával. Esetleg csak akkor, ha a digitalizálás nem egyszerű beírással, hanem szkenneléssel történik. Nyilvánvaló, hogy ebben az esetben a beszkennelt fájl mérete jóval nagyobb lesz, mint az első esetben, amikor csak simán beírták egy szövegfájlba.
Tehát egy adott rendszer információtartalma és annak mennyisége erősen függ a befogadó viszonyulásától, szándékaitól. Ezért az információ mennyisége is csak akkor definiálható, ha pontosan megadjuk ezt a viszonyulást, vagyis hogy mire kíváncsi a befogadó.
De még ebben az esetben sem könnyű a dolog. Maradjunk az első esetnél, vagyis kössük ki, hogy a befogadó csak és tisztán a leírt tartalom szempontjából tekinti információnak a könyvet.
A kérdés az, hogy mekkora a mennyisége ennek az információnak. A számítógépes feldolgozásnál maradva egyértelműnek tűnik, hogy a könyvben annyi információ van, amennyi a digitalizálás után keletkező szövegfájl mérete.
Ha azonban a könyvet lefordítjuk egy másik nyelvre, akkor biztos, hogy más méret fog adódni. Pedig maga az információ pontosan ugyanaz.
Ha a szövegfájlt még tömörítjük is, akkor megint más információmennyiséget kapunk, pedig a tartalom ugyanaz.
Ezért azt javaslom, hogy az információ mennyiségének tekintsük azt a elvileg elérhető legkisebb mérete, amin az adott tartalom még csorbítatlanul tárolható. Az, hogy ez a minimális méret mindig létezik, elég könnyen bebizonyítható, azzal most nem foglalkoznék.
Ha sikerül megegyezni ebben a definícióban, akkor folytatom a gondolatmenetet.
Szerintem ez egy nagyon érdekes téma, kár volna, ha elsüllyedne :)
Írtam egy nagyon hosszú hozzászólást ide, de minden gondolat egy újabbat vetett fel, és a végén már akkora lett, hogy úgy gondoltam, ezt senki sem fogja elolvasni, ezért inkább több részben fogom leírni, több nap alatt.
Az egyik legmegrázóbb következtetésem az volt, hogy az információ megmaradásáról első sorban azért nem beszélhetünk, mert az információ nem additív, hanem "antiadditív" mennyiség, azaz ha két információhalmazt egyesítünk, akkor a bennük lévő információ tartalma csökkenni fog! Hogy milyen törvényszerűségek szerint, azt egyelőre nem tudom, univerzális törvényt valószínűleg nem is lehet majd felállítani, de egy statisztikai jellegűt minden bizonnyal. Egyelőre az a megérzésem, hogy az információtartalom annál nagyobb mértékben csökken, minél nagyobb részhalmazokat egyesítünk. Ezt próbálom majd bebizonyítani a következő hozzászólásokban.
Ha a tétel helyesnek bizonyul, akkor abból az fog következni, hogy az egész univerzum teljes információtartalma lényegesen kevesebb, mint egy pohár vízben lévő információk mennyisége.
Az volna a kérdésem, hogy mit tekintünk információnak? Ha ezt definiáljuk, akkor és csak akkor tudunk válaszolni a topicnyitó kérdésére.
DcsabaS_ mondott egy érdekeset a struktúrákkal kapcsolatban. Ezt érdemes lenne kifejteni.
Ajánlom mindenki figyelmébe a Wigner-i definíciót, mely szerint információ minden, ami egy rendszer irányításához felhasználható.
Kedves CsabA !
Ezt írod:
"A problémád az, hogy a bemenő adat ott egy szám, és azt kell róla eldönteni, hogy prím-e vagy sem."
NEM! Olvasd csak el mégegyszer. A bemenő adat az ismert legnagyobb prímszám, és egy program, amely egy számról eldönti, hogy prímszám-e. A kimeneten pedig akármilyen hosszú prímszámsorozat jelenik meg, olyanok, amelyek az emberi tudás szempontjából eddig nem léteztek. Arra kértelek, hogy erről a fekete dobozról (amely egy valóságos, nem csak elméletben létező számítógép) bizonyitsd be, hogy a látszattal ellentétben információveszteség történik.
Persze a program megvizsgálja az egymásután következő páratlan számokat. Ez a feladat szemponjából azonban lényegtelen, csak részeredmény, amit NEM vittem be és nem is veszek ki a dobozból. De ha akarod, legyen a program olyan, hogy ezek a részeredmények is megjelennek a kimeneten akár változatlanul (megtartva minden eredendő információt), akár csoportokba rendezve aszerint, hogy milyen számokkal oszthatók. (Ez utóbbival többletinformációhoz jutottam, a nemprímek minden tulajdonságát kiderítettem, tehát méginkább igazam van. Ezek ugyan megvoltak, mint Michelangello szobrai a márványtömben, de a tömből kiszabadítva mégiscsak többletinformációt jelentenek az én információfelfogásom szerint.)
Szerinted:
"Márpedig ez a tulajdonság, a "prímesség" sokkal kevesebb információt ad, mint maga a szám (egy szám ugye sokkal több tulajdonsággal rendelkezik, mint a "prímesség")"
Nem tudom, csak kérdezem: a prímességen túl milyen információt tartalmaz még a prím? Ugye deffiníció szerint páratlan és nincs osztója. Hogy ő miket oszt, az meg azoknak a tulajdonsága.
Holden (26) írja:
"Információról csak akkor van értelme beszélni, ha adott ... az értelmezés módja." Itt a lényeg szerintem. A Te információ fogalmad és a Turing automatán alapuló modelled egyfajta (bár nagyon fontos) értelmezés, amelyről nem érdemes vitatkozni, hiszen matematikailag tökéletes, bizonyított rendszer. A topiknyitó azonban nem kötötte ki, hogy csak erről vitatkozhatunk. A valóságban a dekódoló az ember, a modell pedig már a létező számítógépekre sem alkalmazható, ahogy ezt - remélem - sikerült megmutatnom.
A 11-et valahogy abrazolod bitsorozatkent, mivel egesz szam, nem is nehez. Te is tudod, mit jelent az a bitsorozat. meg a szamitogep is "tudja".
Viszont a gyöke mar nem egesz szam, nem is racionalis. Ha egeszkent abrazolod, akkor 3-mat kapsz, ha (fix biten) racionaliskent akkor mondjuk 3.316625-öt. Ha valahany biten lebegöpontoskent, akkor meg egy masik szamot. Barmelyiket összeszorzod, nem kapod vissza a 11-et, csak majdnem. Persze ha egy negyzetszam gyöket veszed, akkor szerencsed van.
Hát valahogy nem értitek miről is van szó.
Ha beadsz 11-et hogy adja ki a gyökét... nos a 11 nem "két digit" hanem az is egy szám. Erre is megadhatjuk hány bites szám legyen és hogy az eredmény hány bites legyen. A 11-et beadom x biten akkor pl. a végeredményt is ennyin várom.
Ezen kívül az eredeti szám visszaállítható, míg ha pl. 2 számot összeadsz és 1 számot kapsz, ott már veszett az infó.
Stb.
Az előző hozzászólásommal azt hiszem megfeleltem a kérdésedre is. A Rosette-i kő információtartalma nem valami sok. Páldául a görök jeleket beszámozhatjuk a görög alphabétumban elfoglat helyük szerint, az ismeretlen jeleket bedig az első előfordulásuk szerint kapnának egy új számot. Ez a megfejtéshez is bőven elég, némi kiegészítéssel, mert tudjuk, hogy Champollionnak a bekeretezett jeleket sikerult először megfejtenie, ugyhogy ezen bejelöléseket is át kell vinni,de ez nem ad sokkal több információt. (Az ismeretlen jelek SZEMANTIKAI tartalmának a megfejtéséhez tök mindegy hogy azokat valamilyen ismeretlen krix-kraxszal jelöljük, vagy számmal.) És ez a fontos, legalábbis számunkra, a jelek szemantikai tartalma, ez viszont NEM azonos a jelek információtartalmával. A szemantikai jelentéstartalomról még ma is késhegyre menő vitát folytatnak a szakembere, bár matematikai definicióját Tarsky a század elején megadta, de ez csak a formális nyelvekre alkalmazható, a beszélt emberi nyelvre NEM!
Na jó, bár azt az írást befejezésnek szántam, de legyen. A problémád az, hogy a bemenő adat ott egy szám, és azt kell róla eldönteni, hogy prím-e vagy sem. Márpedig ez a tulajdonság, a "prímesség" sokkal kevesebb információt ad, mint maga a szám (egy szám ugye sokkal több tulajdonsággal rendelkezik, mint a "prímesség"). A példád ugyanis teljesen ekvivalens azzal, hogy felsorolod a számokat egyesével, és a számítógép válaszul kiírja rá, hogy a szám prím-e vagy sem. Az más kérdés, hogy neked szemantikailag ez jelentős eredmény.
Szerintem itt van a kutya elásva, ugyanis van egyfelől az információ, ami nem más, mint az adott ismeretek megkülönböztethetősége miatt minimálisan szükséges valamik - nem muszály ugye hogy számok legyenek-, de számokká konvertálhatók, minden egyedi valami kap egy számot például. Az információtartalom pedig a maximáis szám kettes alapú logaritmusa.
Ugyanakkor az adott valamik rendelkeznek egy struktúrával és az adott valamike valami alapján "állítottuk elő" ez szintakszisa az adott adathalmaznak. Ezen kívül létezik az ember számára valamilyen szemantikai jelentéstartalma is az adott adathalmaznak, te pedig ezt hívod, tévesen információnak.
Valóban, ez egy fontos és érdekes észrevétel: egy könyv, felirat vagy bármilyen szöveg az elsődleges jelentésén kívűl is hordoz információt, például azt, hogy milyen jelekből áll: betűkből vagy hieroglifákból stb...
Egyébként a megfejtés szempontjából éppen a 'nem informatív' szövegrészek hasznosak... az anekdóta szerint a török titkosírásokat könnyű megfejteni, mivel minden üzenet azzal kezdődik, hogy "Allah növessze meg a szakállad"...
És akkor mi van, ha mind a két könyv megmarad, de mondjuk holnaptól az összes ember elfelejti azt a nyelvet, amin a könyveket írták. Akkor mi történik az információval?
Azt hiszem, az a probléma, hogy nem tudjuk pontosan mi is az az információ. Véleményem szerint ugyanis információ abszolút értelemben nem létezik. Információról csak akkor van értelme beszélni, ha adott az információt cserélő két fél, azaz az információt küldő, és az információt fogadó, azaz az értelmező, és adott az értelmezés módja. Két példát szeretnék ezzel kapcsolatban felvázolni. Az egyik: adott egy dobozba zárt, termikus egyensúlyban lévő gáz. Mennyi ennek az információ tartalma? Az egyik válasz: mivel az entrópiája maximális, ezért az információ tartalma minimális. A másik válasz: mivel a molekulák sebesség és hely eloszlása töléletesen véletlenszerű, ezért az információ tartalom maximális, hiszen az összes molekula állapotának leírásához sokkal több információ kell, mintha mondjuk minden molekula a doboz egyik felében lenne, és mondjuk azonos sebességgel közlekedne. A másik példám: mennyi a rosette-i kő információtartalma? Ez az a háromnyelvű feliratot tartalmazó kő, amelynek segítségével Champollion megfejtette az egyiptomi hieroglifák jelentését. Ha a kövön nem lett volna meg ugyanaz a felirat görögül is, Champollion soha sem tudta volna megfejteni. A kérdés tehát az, ugyanaz-e az egyiptomi felirat információ tartalma akkor, ha a kövön ott van a görög megfelelője is, vagy ha csak az egyiptomi van ott?
Hát igazság szerint magam sem tudom, hogy minek vitatkozunk, amikor mindhárman más-más dologról beszélünk... stika konkrét számítógépekről, CsabA a programozás matematikai elméletéről, én meg a hordozótól független (magábanvaló) információról.
Talán ha endi újra erre jár, elárulja, hogy ő mire is gondolt, amikor megnyitotta ezt a topikot.
Azért ez durva volt. Gúnyolódás helyett jobb lett volna, ha érdemben válaszolsz, és megmutatot, hogy miért információvesztés az, ha pl. eddig nem ismert prímszámok elvileg akármilyen hosszú sorozatát generálja egy gép kevés számú bemenő adatból.
Arról nem tehetek, hogy nem értesz a számítástechnika és információfeldolgozás matemetikai alapjaihoz. Legyen, ahogy te gondolod. Te más premisszákból kiindulva mást bizonyítasz be, mint amiről én beszélek, de ez nem baj.
Van afrikában például egy olyan nép, ami szerint nincs semmi összefüggés a sexuális tevékenység és a gyermek születése közt. Hiába próbálták nekik a misszonárius elmagyarázni olyan dolgokat, mint ondó, petesejt, megtermékenyülés stb. Ezek számukra nem jelentettek semmit, viszont rögtön mutatták a példákat a misszionáriusnak, hogy aszongy ott a falu kurvája, de még húsz év alatt sem szült egy gyereket se, vagy ott az ronda vénség, nincs férfiember, aki ránézne, osztneki született gyereke, és sorolják a többi páldát. A misszionárius pedig tudta, amit tudott, és jót mosolygott a falubelieken.
Nem kedves Teve, volt x bemenő adatod, volt y kimenő, plusz a program meg a számítógép. A bemenő adatból csinál kimenőt a számítógép a program segítségével, ennyi. Azt már mondtam, hiában van meg valahol eltárolva a kezdeti adataid, most a számítógép tevékenységét vizsfáljuk, mint olyant, az pedig csökkenti az információt, de hát ez is vele a célunk, ezért használjuk.
Most ugye egy számítógépről beszélünk, ebben az esetben hol létezett 11 gyöke korábban? Úgy értem, hogy fizikailag, a gép melyik részében? És ha létezett, akkor miért nem onnan veszed, miért kell kiszámolni? Hasonlóan azok a bizonyos más számok sincsenek benne a gépben, tehát nem is tudnak elveszni.
Azt hiszem, hogy kezd a vita partalanná válni, mert Te és CsabA ragaszkodtok ahhoz a prekoncepcióhoz, hogy minden információfeldolgozás veszteséggel jár, de ezt a gyakorlatban szerintem nem lehet igazolni. Ehhez meg akarjátok határozni, hogy mit értsek bemenő és kimenő információn, meg hogy modellként egy szintén csak elméletben létező végtelen memóriájú gépet kell használni. Én a gépet (bármely _létező_ gépet) egy doboznak tekintem, bemenő információ az amit bevittem, kimenő pedig amit a gép kiadott. Az előző példában a művelet előtt a gyök és a vele megegyező többi szám nincs benne a dobozban (az utóbbi később sem), vagyis nem létező információ.
Még egy utolsó példával megpróbálkozom. Vegyünk egy elegendő errőforrásokkal rendelkező gépet. Legyen a feladat az ismert legnagyobb prímszámot követő prímszámok keresése a végtelen számegyenesen. Bemenő információ: ez a prímszám és a prímszám ellenőrzésének algoritmusa. Ezeket egyszer kell bevinni, és kimenetként a gép prímszámokat fog kiadni, ha le nem állítom az idők végezetéig. Persze mondhatod, hogy ezek a prímszámok is léteztek már előbb. Kérdésem megint: hol? Isten tudatában? Az én fogalmaim szerint ez a gép véges számú bemenő információból elvileg végtelen számú kimenőt termel.
"Mint mondtam, az információvesztés akkor lép fel, amikor a bemeneten megjelenik az új bemenő adat, mivel ekkor megsemmisül a régi, és csak a kimenet adatai tárolódnak. Ha azt mondanánk, hogy a bemenet is imenet, akkor hol adhatnánk be akövetkező bemenő adatot?"
Jajj már, ha a bemenet megváltozik, akkor a kimenet is meg fog változni, tehát a korábbi eredmény elvész... az egyes számításokat külön-külön kell vizsgálni...
Mint mondtam, nem azt kell nézni, mi számodra a bemenő és kimenő információ, hanem a számítógáp egészét és akkor a gyökvonásod is információcsökkenés lesz a számítógáp egészének a működését figyelembe véve. Ez egyszerű matematika, ha felírod a Turing-gépre, a program itt is adta, és kiszámolod, mint véges autómatára, általánosan a bejövő és kimenő adatok hányadosát, akkor mindig információcsökkenés lép fel. Egy valódi számítógép pedig messze van egy Turing-géptől, mivel az elméleti Turing-gépnek korlátlanul áll rendelkezésére memória. Mint mondtam, az információvesztés akkor lép fel, amikor a bemeneten megjelenik az új bemenő adat, mivel ekkor megsemmisül a régi, és csak a kimenet adatai tárolódnak. Ha azt mondanánk, hogy a bemenet is imenet, akkor hol adhatnánk be akövetkező bemenő adatot? Sehol, az sem jó érv, hogy de megvannak, pl. winchesteren a bejövő adatok, mert most a számítógép tevékenységét nézzük, aminek az eredménye az információcsökkenés. Ahhoz, hogy az információ ne vesszen el a számítógép tevékenysége küzben, mint mondtam, át kéne tervezni a chipeket, ami nem kifizetődő, meg ugye a kezdő adatok általában rendelkezésre állnak, tehát számunkra nem csökken az eredeti információ, csak a számítógép működése nézőpontjából.
De.
Vagyis 11 gyöke már korábban is létezett, tehát információ nem keletkezett, csak elveszett... ugyanis nem csak a 11 gyökének ez az első száz jegye, hanem más számoknak is... talán ezért is van jelentősége azoknak a programoknak, amelyek nem számítják ki a képleteket, hanem azokkal "számolnak".
