Далее замок достаточно часто переходил из рук одно хозяина в руки другого, что чаще всего влекло за собой его перестройку.
В 1526 году, когда он был построен Якубом Кышперским в стиле поздней готики.
В 1570 году Валеч даже получил статус вольного города по Магдебургскому праву.
В 1585 году замок был перестроен уже в стиле ренессанс его новым хозяином Вацлавом Штампахем.
Затем в 1685-1712 году замок был перестроен в стиле барокко следующим своим хозяином Яном Кагера. С его именем связано строительство большинства строений на граде. Архитектором при перестройке замка был итальянец Франческо Барелли.