Il piccolo borgo si erge su un’alta rupe calcarea che strapiomba a sud verso la vallata del Cornia. La struttura urbanistica, nonostante i recenti riadattamenti, mantiene ancora oggi l’aspetto di una rocca medievale e il castello, nucleo più antico e più elevato del paese (560 m), si affaccia attorno a una piazzetta centrale lastricata, di forma triangolare. 

Le mura perimetrali del borgo hanno un aspetto possente, con basamenti scarpati e un largo arco “a trabocchetto” che porta all’interno del paese, tanto esteso da sembrare una galleria. Quasi di fronte vi è la chiesa dedicata a San Bartolomeo, che mantiene al suo interno la pavimentazione in cotto originale. Sul lato sinistro resta visibile l’antica chiesetta castellana di stile romanico con all’interno un prestigioso dipinto del XV° secolo di artista ignoto e un antichissimo fonte battesimale proveniente dalla vecchia Pieve di Commessano, i cui ruderi si trovano non lontano dal paese. Anche i travi del sottotetto sono in legno di castagno originali.

 Il Castello del Sasso in origine era dominato dal potere vescovile, ma verso il 1210, giurando fedeltà a Volterra si sottomise al Comune. Ai piedi della grande rupe , che ha dato il nome al borgo (Sasso), si apre una  cavità che viene chiamata “Buca di San Rocco”, che secondo la leggenda avrebbe dato rifugio al santo nel 1315, durante un’epidemia di peste.