V 14. in 15. stoletju je grad služil kot rezidenca grofov in knezov Celjskih. Po izumrtju Celjskih je bil v poslopju od 15. stoletja dalje vicedomski urad, sredi 18. stoletja pa so ga po ukazu cesarice Marije Terezije preuredili v vojašnico.

Čeprav je bila stavba s številnimi prezidavami oropana nekdanjega srednjeveškega videza sodi med najpomembnejše grajske objekte na Slovenskem in je tudi zaščitena za spomenik državnega pomena. V kletnih prostorih se razprostira največja in situ predstavitev ostankov rimske Celeje, ki skupaj z razstavo Grofje Celjski dopolnjuje vsebino dvora. Svoje mesto v njem pa ima tudi Galerija sodobne umetnosti Celje.