Kolejnymi właścicielami zamku byli Radziwiłłowie, którzy dokonali niewielkiej rozbudowy w XVII i XVIII wieku. W 1802 roku zamek oraz dobra szydłowieckie zakupiła księżna Anna Sapieżyna Zamoyska, która odsprzedała go w 1828 roku skarbowi Królestwa Polskiego. Wkrótce potem został wydzierżawiony Maurycemu Engermanowi, który urządził tu magazyn piwa.
Nieużytkowany od połowy XIX wieku popadł w ruinę, dopiero w latach 60. XX wieku miał miejsce pełny remont budowli. Zamek oddano miejscowym instytucjom publicznym. Budynek obecnie jest siedzibą Szydłowieckiego Centrum Kultury i Sportu oraz jedynego w swoim rodzaju w Europie Muzeum Ludowych Instrumentów Muzycznych.
W roku 2013 według planów zamek i park radziwiłłowski ma zostać poddany rewitalizacji w ramach projektu kluczowego.