Il castello di Fosini si erge su una rupe a strapiombo sul torrente Pavone, nella gola del Rio Riponti. Realizzato nel X secolo, appartenne ai vescovi di Volterra, alla famiglia Pannocchieschi, al Comune di Siena e alla contea di Elici. Il castello passò poi diverse volte di mano e, fino agli inizi del XX secolo, fu possedimento della dinastia dei Baroni Sergardi di Siena.
Oggi la struttura del castello, in pessime condizioni, sebbene ancora imponente, è il risultato di diversi rimaneggiamenti e aggiunte, tra cui i non originali elementi medievali, annessi secondo il gusto romantico del periodo.
Quelle che più conservano i caratteri iniziali sono le mura affacciate a nord e a est del borgo. Al castello appartiene la chiesa di San Niccolò, restaurata nel XVII secolo. Sovrastano inoltre la rocca le Cornate di Gerfalco, un promontorio di oltre mille metri d'altitudine, caratterizzato da un insieme di rupi calcaree a strapiombo.