En el barrio de Castello, se encontraba la antigua fortaleza que defendía la ciudad y en ella además del propio castillo y los bastiones y torres, como la del Elefante o la de San Pancracio, se encontraban los principales edificios de la ciudad, como la catedral y el palacio del virrey. Dentro del casco antiguo se encuentran además otros tres barrios históricos; Stampace, barrio de los comerciantes y burgueses, Marina barrio de marineros y pescadores y Vilanova, barrio de los campesinos.