Il palazzo baronale di Latiano  detto “Castello”, trova le sue origini, certamente, nel periodo medioevale. Edificato nel XII secolo, possiede in sé lo sviluppo architettonico che lo vuole “fortezza”  perché era circondata da un fossato ma attualmente di questa struttura non è rimasto nulla. Che fosse un fortilizio  ci è dato saperlo dal diploma di concessione del casale di Latiano del 1407, dal Regio Demanio ad Antonio Alami ed è la prima indicazione che ci porta a conoscenza della esistenza in Latiano di un’opera fortificata. Fortilizio che è sicuramente il primo nucleo della struttura che si svilupperà fisicamente nel tempo in fortezza-residenza feudale-palazzo signorile. Nei primi anni del 1500 Latiano ed il castello passarono alla famiglia Francone. Nel 1530 i beni del barone, tra cui il feudo Latiano che fu rivenduto a Paolo di Vittorio di Prioli. Il feudo di Latiano, verso la metà del 1500 e inizio del 1600 ritornò alla famiglia Francone per poi essere ceduto nel 1612 alla famiglia De Sanctis ed infine tra 1600 e 1700 passò di proprietà a Carlo Imperiali III, marchese di Oria e Francavilla. Con il passaggio alla famiglia Imperiali il castello ha assunto più la funzione di rappresentanza dell’aristocrazia che organismo con qualità difensive ed offensive avendo poi la sua definitiva trasformazione in Palazzo intorno al 1670.  Con questo cambio anche la facciata viene trasformata, perdendo cosi i suoi connotati difensivi per rientrare nel gusto dell’architettura salentina dell’epoca. Oltre ad essa, altro intervento molto importante è quello dell’organizzazione interna del complesso che gravita sul cortile centrale.
Gli Imperiali hanno posseduto il palazzo, direttamente o indirettamente, fino al 1909, anno in cui divenne proprietario, per acquisto il Comune di Latiano. Il complesso, nella situazione attuale, si sviluppa su due piani (pianterreno e primo piano), nel cuore della città. Inaugurato nel 2004 è oggi sede della Biblioteca Civica Gilberto De Nitto,  della Quadreria Imperiale e diverse sale espositive. Da segnalare il salone di rappresentanza decorato dal pittore latianese Agesilao Flora (1863-1952) nel 1928.