Excelből közvetlenül nem tudom hogy lehet, de lehetőségként ott van az, hogy Word-ben csinálsz cimkenyomtatást és az adatokat az excel file-ból veszi be.
Print merge címszó alatt fut a dolog Wordben.

Egy nagyon falmelléki megoldás Excelben lehet az, hogy a cellákat pont úgy formázod be méretre, mint a cimke-öntapadód és így nyomtatod le...