Pierwsze prace remontowe i przebudowę zamku wykonał w latach 1548-55 Konrad II von Hoberg. W dniu 5 kwietnia 1605 roku Konrad III von Hoberg wykupił od cesarza Rudolfa III dziedziczne prawo własności do dóbr książańskich. W 1628 roku Jan Henryk von Hoberg przekazuje zamek Janowi Henrykowi von Hohberg, z olszańskiej lini rodu. Na skutek toczącej się w tym okresie wojny trzydziestoletniej był on zmuszony do opuszczenia zamku. Zamek został splądrowany przez wojska cesarskie i austriackie. Po zakończeniu działań wojennych przeprowadzono przebudowę zamku. W miejscu rozebranych murów obronnych założono ogrody. Odbudowę i przebudowę zamku kontynuowano do końca XVII wieku. W 1705 roku właścicielem zamku został Konrad Maksymilian von Hohberg, który całkowicie przebudował zamek.

  Powstała wówczas barokowa część zamku, oraz biblioteka wraz z budynkami bramnymi. Po śmierci Henryka Karola von Hohberg (w 1755 roku), syna Konrada Maksymiliana, na którym wygasła linia olszańska rodu, zamek przeszedł we władanie lini rodu pochodzącej z Roztoki. Właścicielem zamku wraz z dobrami został Jan Henryk IV von Hochberg. W latach 90-tych XVIII wieku Jan Henryk VI von Hochberg zaangażował architekta Christiana Wilhelma Tischbeina, w celu upiększenia okolicy zamku. Odbudowano wówczas między innymi położony w pobliżu zamek Stary Książ. Ostatnia przebudowa zamku miała miejsce w latach 1908-23, a przeprowadził ją Jan Henryk XV von Hochberg. Dobudowano wówczas dwa neorenesansowe skrzydła, wieża (ma 43 m wysokości) otrzymała nowy hełm, poszerzono tarasy, oraz przebudowano wnętrza zamkowe. Po jego śmierci w 1938 roku zamek we władanie przejął jego najstarszy syn Jan Henryk XVII von Hochberg. Opuścił on zamek w czasie II wojny światowej i wyemigrował do Anglii, gdzie służył w armii brytyjskiej. Zamek w 1941 roku został skonfiskowany przez hitlerowców.