Además del palacio construido en 1557 como última residencia del emperador Carlos V tras su abdicación del trono, en Cuacos se han conservado algunas buenas muestras de la arquitectura del siglo XVI. La ermita de la Soledad se debió levantar a finales de este siglo. También en esta época se construyeron partes de la iglesia de la Asunción. Entre la arquitectura civil habría que destacar la casa de Rafael Castaño, escribano de Cuacos en ese siglo o algunas otras casas solariegas en las que pueden verse ciertas influencias de la arquitectura flamenca.
Tradiciones en torno al emperador
Parece que la elección de este lugar como lugar de retiro del emperador se debió al buen clima y la tranquilidad de la comarca. Además el lugar contaba con un monasterio jerónimo, orden muy vinculada a la casa real. En la elección pudo también influir que en Cuacos naciera y se criara su hijo Juan de Austria. En 1554, el emperador envía a su hijo Felipe a visitar el lugar, en compañía del general de la orden de los jerónimos y del arquitecto Luis de la Vega. Allí determinan construir un palacio anexo al convento como residencia de retiro del emperador.
