Quasi certamente il paese vide come primi abitanti gli Umbri, respinti poi dagli Etruschi al di là del Tevere. Con i Romani, Passignano ebbe una prima struttura militare e forse una torre, che con quella di Monteruffiano controllava il famoso passo verso settentrione, unica via di collegamento per molti secoli fra nord e centro, da cui presumibilmente viene il nome del paese: Passinianum, cioè luogo del passo, o dal prediale Passinius o Passenius. Fu testimone impotente della famosa trappola che nel 217 a.C. costò la vita al console Flaminio e 15.000 romani per opera di Annibale. La Rocca fu innalzata in epoca longobarda fra il V e VI sec., alla quale successivamente furono aggiunte delle mura quadrate. La struttura del castello vero e proprio è successiva al 1100, epoca nella quale Passignano entrò sotto il dominio perugino, e vi fu inclusa anche la strada in modo da avere il controllo totale del territorio. Il castello aveva tre porte e numerose torri e torrioni, con le mura aperte sul lago: di ciò resta soltanto la parte settentrionale poiché tutto il resto fu abbattuto ai primi dell'800 per ordine dello Stato Pontificio, onde avere materiale di recupero per rialzare la strada corriera spesso invasa dalle acque. La condizione di luogo di passaggio fra Perugia e Firenze, ma anche fra i porti dell'Adriatico e quelli del Tirreno, fece di Passignano, già dal Medioevo, un centro vitale e florido, ricco di hosterie e di hospitali (alberghi): una vocazione turistica che è risorta ai primi di questo secolo con la costituzione della Società di Navigazione sul Trasimeno, il cui unico vaporetto, il Concordia, ebbe la ventura di trasportare nel 1907 la Regina Margherita di Savoia in gita al lago, decretando così la fortuna del paese. Successivamente venne istituita una Scuola di Pilotaggio per Idrovolanti, e vi si installò la SAI Ambrosini, famosa non solo come costruttrice di aerei, ma anche per aver fatto uscire dai propri cantieri imbarcazioni come Il Moro di Venezia, Azzurra 3 e 4, e numerose altre.