Percorrendo la provinciale Pievaiola, dopo circa 3 km da Tavernelle si incontra un bivio che conduce a Colle San Paolo, antico castello medievale, che formò insieme a Mongiovino e Montali un baluardo difensivo a protezione dei confini perugini verso Panicale. Il castello è molto particolare nel suo aspetto soprattutto nella porta di ingresso sormontata da una terrazza merlata e da un campanile.
Nel 1443 Colle San Paolo fu occupato dalle milizie del bellicoso venturiero Ciarpellone. Nel XVII secolo il castello passò in mano privata, trasformato in residenza-fattoria e ristrutturato in vari appartamenti; oggi appare ben conservato e abitato.