Il palazzo Baronale può essere considerato la massima espressione d'architettura civile presente a Sorso. La massiccia costruzione, di forma all'incirca quadrata, presenta due brevi avancorpi nel lato principale, ch'erano un tempo collegati architettonicamente nel solo pianterreno, a protezione del portone d'ingresso. La copertura del piano terreno e del primo piano è risolta con grandi volte, l'ultimo piano è coperto a tetto. Resta anche la struttura dello scalone; ampio è il cortile-giardino retrostante"
L'opera è del 1692: successivi restauri, condotti fino agli anni '90 del secolo scorso, hanno sfondato il soffitto del primo piano, sul quale si apre il secondo con un ballatoio. Il giardino è stato molto ridotto da occupazioni da parte delle abitazioni confinanti, che ne hanno usucapito buona parte. Oggi ospita manifestazioni culturali e l'amministrazione comunale ha il progetto di attrezzarlo perché vi si possano tenere le sedute del Consiglio.
Dal punto di vista storico, la semplicità della struttura farebbe pensare ad un'epoca abbastanza remota, precedente all'eredità degli Amat. Possiamo pensare che Pietro Amat (1638-1729), che fu barone di Sorso a lungo e vi risiedette per molto tempo (si sposò a San Pantaleo nel 1674), gli abbia dato la forma attuale.