Il castello a difesa dell'abitato venne eretto verso la fine del 1200, e tutt'ora sono in piedi lunghi tratti di mura, il Mastio, tre torrioni e due delle porte di accesso, Porta Monterone e quella di Ponente. La tradizione vuole che il nome derivi da Rigo, o Rigone, un luogotenente di Totila, re degli Ostrogoti, che nel 543 usò il piccolo paese come base operativa per mantenere l'assedio a Perugia, circostanza che viene ogni anno festeggiata con il Corteo Storico in costume gotico chiamata la "Festa dei Barbari ". Castel Rigone, in alta collina con splendido panorama sul lago, immerso nei boschi, è luogo particolarmente adatto al turismo di relax, e favorito per gli appassionati di trekking a cavallo, mountain-bike e bird-watching.