In una posizione strategica che domina tutta la vallata alla confluenza del torrente Sellate col Botro del Rio, si possono scorgere, al culmine di uno sperone roccioso, i poderosi resti del Castello dei Vescovi, detto anche Torraccia.
Di questa rocca se ne rinvengono tracce fin dall' 896, quando venne ceduta da Adalberto marchese di Toscana, ad Alboino vescovo di Volterra.
Da allora, più volte fortificato, il castello, diventò residenza vescovile usata sprattutto a scopo di difesa durante le continue rappresaglie, le prolungate, acerrime lotte e i violenti scontri, che insorgevano tra i Vescovi e il Comune di Volterra, nell'eterna lotta per il prezioso argento.
Nel 1315 per conto di Ranieri III Belforte, divenne anche importante sede di un'officina monetaria, nella quale venivano coniate monete sfruttando l'argento delle miniere vescovili di Montieri.

Il castello, più volte distrutto e riedificato, nel XVI secolo fu definitivamente abbandonato dopo l'occupazione dei Senesi.

Oggi rimangono in piedi solo i resti della torre e pochi frammenti delle mura che la circondavano. Intorno si nota appena qualche traccia del borgo, nascosta all'interno del bosco, ma anche osservando questi resti si intuisce la forza severa e l'eleganza che potevano avere queste poderose strutture.