El Palacio de Santa Cruz es tal vez el edificio mas importante del reinado de Felipe IV (1621-65).
Fue construido para albergar la Cárcel de Corte entre 1629-36, también hacia funciones de Palacio de Justicia, desde donde se garantizaba la seguridad y el orden de la ciudad.
En 1791 se declara un incendio que solo deja en pie la fachada principal, encargándose Juan de Villanueva de su reconstrucción.