ha fénytörés lenne, az legfeljebb egy irányban változtatnás, és ott is pont fordítva

Szerintem nem csak lenne, de éppenséggel van is ilyen fénytörés. A Nap látszólag enyhén ellapul a horizont közelében, ha ez nem is feltűnő. (Sőt, tozulni, "hullámozni" is elkezdhet olykor egyéb légköri hatások miatt.)

Az optikai illuziót pedig az okozza, hogy mihez viszonyítjuk a  nagyságát. A horizont irányában akár több km-re lévő, ezért kicsinák látszó tárgyakhoz viszonyíthatunk, ellenben a magasan álló Nappal, amelyhez túlnyomórészt csak közeli dolgokat van módunkban arányítani. A Holdnál szintúgy.