El atractivo del monasterio está ligado a la figura del emperador, ya que el conjunto arquitectónico no solo ofrece el edificio del monasterio, el claustro gótico, el claustro renacentista y la iglesia, si no también lo compone el palacio que mandó construir Carlos V, como morada para vivir sus últimos días junto con un séquito personal de 50 personas. 

Tras abdicar hizo de este monasterio jerónimo el refugio donde prepararse para su muerte, que tuvo lugar el 21 de septiembre de 1558.