Si erge a 639 metri s.l.m sovrastato dal promontorio del gruppo montuoso delle Cornate di Gerfalco, in un ambiente naturale tra i più belli della Val di Cecina e appare come una poderosa fortificazione arroccata su uno sperone calcareo che guarda la Valle del Pavone a strapiombo sulla stretta gola del Rio Riponti.
La sua struttura segue una sagoma quadrangolare disposta attorno a un cortile centrale. Conserva testimonianza di epoche diverse, da quella feudale, (in cui si riscontrò al castello la presenza della popolazione più numerosa), fino a quella vescovile, passando per il periodo mediceo, per arrivare ai giorni nostri che vedono il maniero bisognoso di cure urgenti che lo riportino al suo antico splendore.
Fu realizzato intorno al X° secolo, a guardia delle miniere d’argento sparse nella vicina zona di Poggio Mutti. Appartenne ai Vescovi di Volterra, per passare nel 1135 alla potente famiglia dei Conti Pannocchieschi, ricchi feudatari di oltre 30 castelli e numerosi possedimenti nel Volterrano. In seguito passò al Comune di Siena e alla Contea di Elci. Agli inizi del XX° secolo fu possedimento della dinastia dei Baroni Sergardi, provenienti da Siena.
Nel corso della sua storia il castello ha subito diversi rimaneggiamenti con aggiunta di ambienti ed elementi architettonici che seguivano il gusto del periodo in cui venivano eseguiti.
Conserva ancora il mastio quadrato, la torre principale e il belvedere che spazia su stupendi e suggestivi panorami. Le pareti e le mura di sud-ovest, strutturate in pietra e mattoni, sono le più in rovina, affacciate sulle scoscese rocce calcaree, rifugio e luogo ideale per la nidificazione di rari rapaci come il Falco Pellegrino e il Lanario.
Come ogni antico castello che si rispetti, anche quello di Fosini ha il suo leggendario fantasma. Si narra infatti che Ilario Brandani, noto come negromante, conoscitore di antiche formule per evocare i morti, abbia vissuto al castello intorno al 1400, proprio negli anni in cui un’epidemia di “morbo oscuro” colpì gran parte dell’Italia Centrale. Pare che fosse stato l’unico a riuscire a scampare al malanno e si dice che avesse ostinatamente continuato a sopravvivere da solo al castello in preda alla pazzia, in mezzo a decine di cadaveri. Si racconta che dopo la morte il suo fantasma, rimasto imprigionato tra le mura del maniero, abbia a lungo vagato in quei luoghi inquietanti e che ancora oggi continui ad aleggiare condannato all’eterna ricerca dei suoi compagni.
Davanti al castello, ombreggiato da rigogliosi e centenari tigli, alternati da un’altissima siepe di Bosso, vi è un antico fontanile recentemente restaurato, dove zampilla un getto di fresca acqua di sorgente, poco distante dal millenario e ancor vigoroso “Castagno di Fosini”.