L’abitato che era andato crescendo, nel corso del XIII secolo, all’esterno del primo nucleo castrense, sul versante del rilievo rivolto verso la valle, venne racchiuso da un nuovo circuito murario che comprendeva anche la parte detta Borgo nuovo. La nuova estensione della parte murata aveva raggiunto la linea dell’attuale via Lungo le Mura, dove si apriva la porta principale da cui usciva la strada che raggiungeva il ponte sull’Elsa. Alla metà del Trecento la strada che dalla porta maggiore raggiungeva l’attraversamento era già un prolungamento dell’abitato ed era chiamato Borgo d’Elsa. In una descrizione del tempo viene descritto così: Burgo Else ad pedem castri, in capite Burgi Else, apud pontem Else de Castro Florentino, dove il Borgo d’Elsa risulta esteso, appunto, dalle mura di Castelfiorentino fino al ponte sull’Elsa. È questa la massima estensione raggiunta dall’abitato alla metà del Trecento. Il grosso borgo fortificato era considerato da Firenze fra quelli strategicamente importanti: si trovava sul confine dell’Elsa che fu interessato da episodi di guerra per i due secoli successivi. Nella seconda metà del Trecento Firenze controllò sistematicamente, attraverso i suoi Ufficiali, l’efficienza di Castelfiorentino ordinando, di volta in volta, quanto necessario per il suo mantenimento. Nel 1349 fu ordinata la cessione alla comunità di Castelfiorentino di una delle torri di cortina che apparteneva alla pieve, per evitare che cadesse in mano nemica e potesse essere utilizzata contro il castello stesso. Nel 1359 per Castelfiorentino viene valutata la capacità di ospitare ben 200 cavalieri, come i più grossi centri della Valdelsa (Poggibonsi e San Gimignano), al contrario di Monterappoli e Pontorme che non ne potevano ospitare nemmeno uno. Negli anni Settanta del Trecento gli uomini di Castelfiorentino, che avevano contribuito alla guerra contro San Miniato, chiesero a Firenze di essere esentati dalle gabelle. Durante le campagne militari avevano sofferto danni ai raccolti, oltre a sostenere l’onere di restaurare le mura del castello e solo l’esenzione dalle imposte avrebbe evitato l’abbandono di massa della popolazione ormai impoverita ed indebitata. Il centro incastellato di Castelfiorentino al tempo di Leonardo doveva apparire ancora nella forma raggiunta alla metà del Trecento. Nella famosa veduta a volo d’uccello della Valdelsa riprodotta nella carta RL 12278 della collezione di Windsor si vede nitidamente il profilo di Castelfiorentino racchiuso da un giro di mura turrite. Le mura erano state più volte oggetto di restauro. Nel 1430, come si legge in una relazione redatta dal podestà di Castelfiorentino Benedetto di Piero Strozzi, le mura risultavano crollate almeno in tre punti e avrebbero dovuto essere acconciate ma le condizioni economiche degli abitanti, a quel tempo, non lo permettevano. Tuttavia Castelfiorentino al tempo di Leonardo è ancora uno dei castelli che caratterizzavano il paesaggio militare della Valdelsa.