En 1534, el soberano de Württemberg, el duque Ulrich, tomó posesión del monasterio de Hirsau tras la introducción de la Reforma.
Los monjes fueron obligados a abandonar el monasterio.
En 1556, el duque Christoph, hijo del duque Ulrich, fundó una escuela protestante en el monasterio.
En lugar de la casa abacial medieval, el duque Luis de Wurtemberg mandó construir entre 1589 y 1593 un pabellón de caza, adyacente al claustro por el sur, obra de su arquitecto de corte Georg Beer. Estaba unido a éste por una torre de acceso de cuatro pisos.
Georg Beer fue responsable de la calidad del diseño del edificio. Al emplear a muchos artesanos de la residencia de Stuttgart, también se consiguió un alto nivel de calidad en la ejecución de la obra.
Heinrich Schickhardt (1558-1635), alumno de Beer y su sucesor, apoyó el proyecto de construcción.
Con su fachada renacentista estructurada y orientada hacia el exterior, el conjunto de tres alas confería al conjunto del edificio un carácter representativo.
Se extendía unos 37 metros en dirección norte-sur y casi 76 metros en dirección este-oeste. En el ala este, casi cuadrada
Las habitaciones representativas se encontraban probablemente en el ala este. En este edificio casi cuadrado, con sus cuatro hastiales de cola, había una bodega y un gran salón con chimenea.
Según informes contemporáneos, una de las plantas estaba equipada con un suelo oscilante que se balanceaba rítmicamente durante el baile.
El ala sur, alargada y con torre de escalera, servía de edificio de conexión, del que sólo se conservan los muros de la planta baja.
En consonancia con su rango, el duque utilizaba su castillo como alojamiento para sus vacaciones de balneario en Liebenzell, Bad Wildbad o Bad Teinach y para viajes de caza.
Presumiblemente, el castillo también sirvió de refugio a la familia ducal cuando estallaron en Stuttgart las llamadas "carreras de moribundos". Se trataba de la peste, el cólera u otras epidemias.
El dominio principesco en Hirsau duró casi 100 años (1592-1692), tras los cuales el castillo y el monasterio vecino fueron incendiados por las tropas francesas durante la Guerra de Sucesión del Palatinado.
Del otrora magnífico interior sólo han sobrevivido escasos restos, como fragmentos arquitectónicos y partes de una gran chimenea.
En 1740, el ala oeste del castillo, menos destruida, se convirtió en granero.
Basándonos en imágenes contemporáneas, sabemos que los daños causados por el incendio en los edificios podrían haberse reparado con relativamente poco esfuerzo. Pero, por un lado, Wurtemberg era protestante desde 1535, por lo que ya no era necesario un monasterio católico para hombres. En segundo lugar, debido a las constantes guerras y sus consecuencias (Guerra de los 30 años, Guerra de Sucesión), el Estado no podía ni quería mantener las propiedades, que eran relativamente insignificantes para el bienestar del Estado. La administración liberó las ruinas como cantera para que la población pudiera obtener materiales de construcción baratos.
Hubo que esperar hasta principios del siglo XIX para que se reconociera el patrimonio cultural y se protegiera el conjunto del monasterio. La naturaleza ya se había ocupado de las ruinas del castillo mucho antes.
De los muros crecía un olmo, al que el poeta local Ludwig Uhland cantó en un poema. Por ello, el árbol también recibió el nombre de olmo de Uhland. Debido a una enfermedad fúngica, tuvo que ser talado el 10 de marzo de 1989, dejando sólo un tocón de 6 m como monumento conmemorativo. Sin embargo, éste también tuvo que ser retirado por motivos de seguridad.
