San Giovanni d'Asso si trova su un colle nel cuore delle Crete Senesi, sulla parte destra del torrente Asso. Nel Medioevo fu possedimento di diverse famiglie e causa di scontro tra i vescovi di Arezzo e Siena. Dal 1178 entrò in orbita senese, attraverso famiglie di quella città come i Buonsignori, i Salimbeni e i Petroni. Divenne poi grancia, fattoria fortificata dell'ospedale di Santa Maria della Scala di Siena e quindi dal XV secolo possedimento diretto di Siena.
La parte più antica del paese è il Borghetto, l'area fortificata, eretta tra il XII e il XIV secolo. Il castello è un vasto edificio rettangolare in cotto, trasformato in palazzo signorile nel XV secolo, con facciata ornata da bifore e il suggestivo cortile interno. All'interno conserva il vasto salone interno, con lo splendido camino e gli affreschi di Ventura Salimbeni. Nei suoi sotterranei è allestito il Museo del Tartufo, forte risorsa dell'economia locale, che racconta la storia del tubero e le sue caratteristiche attraverso esperienze sensoriali.
Da visitare la chiesa romanica di San Giovanni Battista e nella parte bassa del paese la chiesa di San Pietro in Villore dell'XI-XII secolo.
Nei dintorni si trova il borgo di Monterongriffoli con il castello e la chiesa di San Lorenzo; Vergelle, Lucignano d'Asso con la chiesa di San Biagio, medievale ma riscostruita nel XVIII secolo; Montisi con la storica grancia, la chiesa della Compagnia del Santissimo Sacramento e la chiesa delle Sante Flora e Lucilla, entrambe riccamente decorate a stucchi.