Posto sul monte Vaso, a poca distanza dal Chianti, Rivalto era sede di un castello oggi scomparso, sulle cui rovine sorsero molte delle case ancora oggi presenti. Le vicende storiche del borgo seguirono quelle di Chianni e della zona, che nel 1629 divenne marchesato, dopo l’infeudazione di Ferdinando II alla famiglia Riccardi di Firenze.
Rivalto conserva la chiesa dei Santi Fabiano e Sebastiano, ristrutturata molte volte nel corso dei secoli, con in facciata lo stemma della famiglia Mazzinghi di Firenze. In origine era ad una navata, venne ampliata nel XVII secolo con una navatella laterale, inglobando un chiostro. L'interno conserva solo due dipinti seicenteschi raffiguranti i Santi Fabiano e Sebastiano e la Madonna Addolorata ed una pala d'altare in terracotta dipinta.
Da segnalare anche l’oratorio della Compagnia della Santa Croce, ad unica navata, con l'altare in muratura dove si trova un dipinto del XVII secolo di Maria Addolorata e San Giovanni e il santuario della Madonna del Carmine, posto nei boschi nei pressi di Rivalto, edificio del XVIII secolo caratterizzato da un bel portico. La sua fondazione fu opera di frati carmelitani, provenienti dal monastero di San Torpè di Pisa, a cui si deve anche la dedicazione dell'omonimo santuario di Chianni.
A Rivalto nacque nel 1260 il Beato Giordano, frate oratore e teologo, beatificato nel 1833.