Niestety, czas nie obszedł się z nim łaskawie. W 1964 r. zawaliła się wieża, niszcząc nadwątlone mury. Z balustrady zniknęły kamienne rzeźby, a z parku przypałacowego posągi. Dzieło zniszczenia zaczęło się w 1945 r., gdy pałac wpadł w ręce żołnierzy radzieckich. Zainicjowali grabież, której dopełnili szabrownicy.
To, że obiekt powstał na planie koła, widać jak na dłoni. Koło ma średnicę ok. 30 metrów. Przez fosę przerzucono dwa kamienne mosty. Wieżę, która dominowała nad całym założeniem, zbudowano najpierw na planie kwadratu. Przebudowano ją na przełomie XVII i XVIII w. Była odtąd ośmioboczna, miała hełm i zegar. Zamek, dzięki przebudowie, otrzymał wówczas funkcje pałacowe. Stał się budowlą barokową.
Podczas kolejnej, wielkiej przebudowy, przeprowadzonej w latach 1879-1885, przywrócono dawny wygląd wieży (wysokość 60 metrów). Na parterze i dwóch wyższych piętrach było aż 41 połączonych amfiladowo komnat, nie licząc pomieszczeń gospodarczych. Kaplicę, urządzoną w duchu Braci Morawskich, ulokowano na prawo od głównego wejścia, czyli od strony południowo-wschodniej pałacu. Drugie wejście było od ogrodu, od północy. Na szczęście, zachował się barokowy portal główny z 1742 r.
Pałac zbudowany jest z cegły i kamienia. Miał dach mansardowy z lukarnami, trzy kondygnacje i tyleż klatek schodowych, z których główna była koło wieży. W trzech piwnicach przechowywano przednie wina.
Od strony wsi na teren przypałacowy prowadzi reprezentacyjna, obecnie sypiąca się brama wjazdowa. Obok niej są zabudowania podworskie. Park, dziś mocno zdziczały, ma blisko 9 ha powierzchni, z czego ponad 2 ha to stawy. Rosną w nim m.in. wspaniałe lipy.
Do 1945 r. w pałacu rezydowała rodzina von Seidlitz. Należały do niej m.in. zakłady włókiennicze w pobliskiej Bielawie. Owiesno było jej rezydencją w sumie 148 lat. A to dzięki mariażowi Christiana Friedricha von Seidlitz z Sophie Juliane Magdalene von der Heyde. Kroniki podają, że ślub odbył się dokładnie 6 czerwca 1797 r. Rodzina von der Heyde przejęła Owiesno od rodu von Nimptsch, który z kolei przejął go od innej niezwykle majętnej i wpływowej rodziny von Bock. Przed nimi panami na Owieśnie były jeszcze dwa inne rody: od 1368 r. do początku XVI w. Pogorzelów (znanego też jako von Pogarell lub Pogrell) i od początku XIV w. do 1368 r. von Logau. To z Pogorzelów wywodził się biskup wrocławski Przecław, któremu Wrocław zawdzięcza dokończenie budowy wschodniej nawy katedry. Pochowano go w kaplicy Mariackiej zwanej też Małym Chórem, której był fundatorem. Dotąd stoi w niej jego wspaniała tumba nagrobna. Z kolei o rodzie von Logau trudno coś konkretnego powiedzieć, bo rządził Owiesnem krótko. Od kogo przejęli zamek?
Tutaj rodzą się pytania m.in. o roli templariuszy w dziejach Owiesna. Jedna z hipotez mówi, że ci rycerze zakonni posiadali w Owieśnie w początkach XIII w. gród obronny, w pobliżu którego powstał znany nam zamek przebudowany potem na pałac. Inni uważają, że templariusze posiadali patronat nad miejscową kaplicą zamkową i do Owiesna sprowadziła ich rodzina Pogorzelów. Jedno jest pewne: templariusze na Śląsku na pewno byli. Należała do nich Oleśnica Mała koło Oławy. Jest też więcej niż pewne, że byli w posiadaniu olbrzymich bogactw. Jako świetni finansiści pożyczali pieniądze m.in. panującym, co ich zgubiło. Oskarżono ich m.in. o konszachty z siłami zła, po czym zdelegalizowano. Wielkiego mistrza spalono na stosie, jak zwykłego heretyka, choć był jednym z najwierniejszych obrońców wiary. Skarbów templariuszy nigdy nie odnaleziono.
Oddalone o kilka kilometrów od Dzierżoniowa Owiesno leży w gminie Bielawa. Odbudowy pałacu podjęła się Fundacja Zamek Chudów z Górnego Śląska.