Il nucleo più antico dell'attuale Palazzo comunale fu edificato come residenza degli Anziani e per il Gonfaloniere di Giustizia, che detenevano il potere esecutivo e poi il governo della città.
La facciata a conci squadrati di pietra serena, volta verso la piazza del Duomo, si sovrappone come elemento unitario ad un edificio le cui vicende costruttive, non sempre chiarite, si sono protratte in un arco di tempo che va dal 1295 a dopo la metà del XIV secolo. La costruzione, iniziata durante la podesteria di Giano della Bella (da qui la denominazione tradizionale di "Palazzo di Giano"), mantenne dimensioni ridotte. Successivi interventi di ampliamento si ebbero nel 1334 e nel 1339. Con i lavori eseguiti dal 1345, diretti dal senese Michele di ser Memmo, il palazzo raggiunse il volume attuale, a pianta quadrangolare; la facciata, ritmicamente scandita dalle aperture, secondo lo stile senese, mantiene l'aspetto originario, salvo che nel porticato laterale, verso nord, subito richiuso per problemi di statica. Il cortile interno è delimitato da quattro pilastri ottagonali, con arcate a sesto ribassato.
Nel corso del Cinquecento e dei due secoli successivi, nuove ristrutturazioni riguardano lo scalone che dal primo piano sale al mezzanino (1521), i piani superiori (1680-1681) e la cappella di S.Agata (1698-1705). La parte retrostante, con le due ali laterali e il corpo parallelo al nucleo più antico, risalgono al 1937-1938. Importanti restauri di consolidamento sono stati eseguiti tra il 1958 e il 1975. Sulla facciata del Palazzo degli Anziani campeggiano le armi medicee; lo stemma centrale, inserito tra la tiara pontificia, le chiavi e la testa di leone, fu posto nel 1513 in onore di papa Leone X; quelle laterali si riferiscono invece al Duca Alessandro, di cui si riconoscono le insegne araldiche. Simbolo della fiera autonomia comunale sono invece la testa d'uomo, in marmo nero, eseguita forse nei primi decenni del Duecento, e la mazza ferrata, visibili a destra del balcone centrale, che ricordano le imprese di Grandonio de' Ghislieri nelle Isole Baleari.