Igaz nem vagyok nyelvész, de az az érzésem, hogy nem fogsz ilyen szakirodalmat találni.

Más az emberi nyelv struktúrája és más a matematikában használatos formális nyelv, már ha erre gondolsz. Majd fél évszázada Chomsky foglalkozott ilyennel, de amennyire tudom, nem igazolódott az emberi nyelv területén a matematikában használt nyelvek használhatósága. Legalább is a tudomány jelen állása szerint.

A matematikában használt formálios nyelvre van több szakkönyv is, pl. Bach Iván: Formális nyelvek - Typotex - 2001. ill. Révész György: Bevezetés a formális nyelvek elméletébe - Akadémia - 1979. Van itt topik is: Formális nyelvek, és talán Naitilus itt a penge.

Létezik még egy érdekes könyv, Kálmán László - Rádai Gábor: Dinamikus szemantika - Osiris  - 2001., mely jelentéstudomány területéhez tartozik és a nyelvi szerkezetek logikai leírásával foglalkozik.

Továbbá a debreceni Társas-Kognitív Nyelvészeti Kutatócsoportban Fehér Krisztina a nyelv modularizálódó hálógrammatikájáról beszél. Mivel a háló is egy matematikai fogalom, így a nyelv matematikai leírásában még sok új és érdekes fejlemény várható.

Habár ezen két utóbbi bekezdés inkább a nyelv matematikája, mintsem a matematikában használatos nyelv.