Az egész történelmi városmag, az Altstadt a templommal együtt 1982 óta műemléki védelem alatt áll.

Herrenberg mint város a 13. században jött létre két régebbi, falusias település egyesítésével.

A tübingeni grófok birtoka volt, 1482-ben került a württembergi grófsághoz.

A német wikin egy egész jó kis összefoglaló olvasható a város történelméről: