Nella prima metà del Duecento il centro passò temporaneamente prima sotto il controllo di Orvieto e poi della famiglia Baschi, che nella parte orientale della provincia di Grosseto possedeva numerosi beni, prima di essere ripreso nuovamente dagli Aldobrandeschi ed inserito nel territorio della Contea di Sovana nel 1274, anno della spartizione dei beni della famiglia.
Ciò nonostante, l'insediamento rupestre di Vitozza, pur vedendo migrare gradualmente la popolazione verso il vicino centro di San Quirico di origini cinquecentesche, fu abitato fino a quasi tutto il Settecento. Nel 1783 i Lorena ne censirono la popolazione residente; all'entrata di alcune grotte è presente un pannello descrittivo che indica anche i nomi delle persone o delle famiglie che vi abitavano all'epoca del suddetto censimento.
Il definitivo abbandono delle grotte avvenne appunto alla fine del Settecento.
Vitozza in epoca medievale presentava un castello notevolmente fortificato, almeno due rocche ed edifici di culto tra i quali vanno ricordati una pieve e due chiese che sono decaduti assieme al resto dell'abitato, oltre al caratteristico insediamento rupestre.
Le grotte adibite ad usi abitativi si estendono lungo i sentieri che attraversano il bosco che domina l'alta valle del fiume Lente, risalendola fino alla sua sorgente; alcune risultano piuttosto ravvicinate tra loro, mentre altre tendono ad essere più isolate.
In base alla loro tipologia, le grotte possono essere infatti classificate in quattro diverse tipologie di riferimento. Giungendo da San Quirico, si incontrano per un lungo tratto del sentiero tre varianti diverse di grotte.
Un primo gruppo è caratterizzato da grotte con aperture rettangolari che spesso sono disposte su più livelli collegati tra loro da scalette e passaggi, con le abitazioni collocate ai livelli superiori e i ricoveri degli animali a quelli inferiori.
Un secondo gruppo di grotte presenta piante rettangolari con strutture destinate ad ospitare gli animali.
Una terza tipologia di grotte era adibita ad usi misti: esse si caratterizzano per un'apertura ad arco, una pianta culminante con un settore a forma circolare e maggiori rifiniture. La parte a forma circolare, ad uso animale, era munita di mangiatoia; gli altri ambienti erano probabilmente adibiti ad abitazione.
Nella parte nord-occidentale di Vitozza, si trova invece un raggruppamento di alcune decine di grotte, denominate colombari, in base all'uso a cui erano destinate. Queste furono realizzate quasi certamente in epoca romana e rimasero attive anche durante tutto il Medioevo, con lo scopo di essere sfruttate per l'allevamento dei piccioni, pratica molto diffusa nel territorio di Sorano.
Rocche di Vitozza
Il secondo castello è una struttura fortificata situata lungo il sentiero che conduce verso i colombari (grotte adibite all'allevamento di volatili) e la sorgente del fiume Lente; la fortificazione è, di fatto, la seconda rocca di Vitozza. La struttura è situata su un poggio che si eleva sulla destra del sentiero e si raggiunge dopo aver superato un'altra serie di grotte ad uso abitativo. Le pareti si articolano su due cortine murarie che nel complesso si sviluppano ad L, presentandosi rivestite in conci di tufo, poggianti su un basamento roccioso dello stesso materiale che ne costituisce il naturale basamento a scarpa. Rispetto alla prima rocca vi si conservano più resti.
Presso la chiesa, sono visibili sul lato settentrionale del pianoro i ruderi di un altro edificio fortificato che svolgeva funzioni difensive, oltre ai resti di una porta che controllava l'accesso attraverso la strada parallela al costone.
L'edificio religioso doveva presentarsi a pianta rettangolare e ad aula unica con abside semicircolare.