Il nucleo originario del castello è costituito dalla torre quadrata che ancora oggi domina il resto della costruzione e quasi tutta la valle.
L'aspetto odierno non è quello primitivo, infatti nell'ottocento fu trasformata, durante l'opera di restauro successiva ai danni subiti per la caduta di un fulmine, in torre campanaria.
La torre doveva essere molto più alta e dotata di apparato a sporgere con beccatelli, se è vero che fu presa ad esempio da Arnolfo di Cambio per la costruzione di quella di Palazzo Vecchio a Firenze, per fortuna ancora oggi intatta. Tre-quattro metri della base sono attualmente interrati, sottraendoci alla vista la scarpatura di cui era dotata la torre, complemento alla difesa piombante dell'epoca.
Le scarse aperture presenti nella muratura sembrano essere originali. Fu poi costruito il recinto murato fortificato attorno alla torre, dal quale si svilupparono gli altri edifici della fortificazione.
Il complesso era dotato di due sole porte, una più grande rivolta a valle verso Ponte a Poppi con una ripida rampa di accesso, e una più piccola sul lato opposto verso la piazza d'armi.
Dopo l'ultima grande ristrutturazione del castello nel 1470 fu quest'ultima, con il nome di Porta del Leone, a diventarne l'accesso principale.
Il castello fu ampliato con la costruzione del blocco rettangolare posto sulla destra della torre (guardando dalla piazza d'armi). Questo era il primitivo cassero, adibito dai piani bassi basso verso l'alto rispettivamente a carcere, deposito ed abitazione.
Sebbene oggi sia unito alla torre da una cortina muraria, originariamente le due costruzioni erano staccate, collegate solo da ponti levatoi ai piani alti, per essere ognuna indipendente e eventualmente a difesa dell'altra. Nel salone del piano superiore del cassero, oggi sede delle riunioni del consiglio comunale, fu redatta nel 1440 la resa dell'ultimo dei conti Guidi, Francesco, alla Repubblica Fiorentina. Quasi contemporaneamente fu iniziata anche la costruzione dell'altra ala del castello, dal lato opposto della torre. Questa era costruita solo fino al primo piano quando fu terminato il cassero, ma già così si era creato il cortile interno che ammiriamo ancora oggi, ricco di stemmi in pietra delle famiglie fiorentine che svolsero il vicariato al castello. Sul lato verso Ponte a Poppi il cortile è chiuso dalla Cappella. Gran parte di queste opere sono da attribuire al conte Simone Guidi, artefice della grande prima ristrutturazione, iniziata nel 1274, che innalzò al rango di residenza signorile il precedente fortilizio. Per aumentarne l'eleganza furono aperte le bifore sulla facciata del castello.
Un'altro grande intervento fu portato avanti dal 1470. Questo interessò principalmente il cortile interno con la costruzione della splendida scala in pietra di accesso ai vari piani dell'edificio e il recinto esterno. Fu scavato il fosso di separazione tra il castello e la piazza d'armi e sulla cinta esterna fu eretta l'antiporta 'della Munizione', praticamente un rivellino, a difesa della porta del Leone. la 'Munizione' fu anche dotata di ponte levatoio, oggi scomparso. Il castello era ormai uno splendido palazzo residenziale. L'ultimo restauro del secolo scorso, con il rifacimento di gran parte della merlature e il restauro delle bifore ed altre parti della muratura, ha dato lo splendido aspetto odierno al castello.
- dal 15 marzo al 31 marzo: tutti i giorni dalle 10 alle 18
- dal 1° aprile al 30 settembre: dal lunedì al giovedì dalle 10 alle 19 - dal venerdì alla domenica dalle 10 alle 20
- dal 1° ottobre al 1° novembre: tutti i giorni dalle 10 alle 18
- dal 2 novembre al 14 marzo dal venerdì alla domenica dalle 10 alle 18
- Festività natalizie: (24 dicembre - 6 gennaio) tutti i giorni dalle 10 alle 18