Dopo la tremenda eruzione nella notte tra il 29 e il 20 settembre 1538 che portò alla formazione del Monte Nuovo, il viceré Pedro Alvarez de Toledo, Marchese di Villafranca, si fece costruire un sontuoso palazzo a dimostrazione del pericolo scampato e invitò i nobili napoletani a eleggere Pozzuoli quale luogo di villeggiatura.
Il complesso architettonico si articolava in tre corpi ben distinti: il palazzo vero e proprio, al quale si accedeva dall’attuale Via Ragnisco, il passaggio Toledo utilizzato per la guarnigione e i cavalli al seguito del viceré e l’imponente torre che rappresentava il fulcro della composizione. Era quindi un palazzo, non una fortezza come alcuni storici hanno ipotizzato, dato che il complesso non mostra alcuna soluzione di tipo militare.