Le prime notizie storiche che riguardano Pontegana risalgono al 789. Su questa collina, strategico punto di controllo per i transiti sia in direzione nord-sud che est-ovest, sorgeva già in epoca altomedievale una fortificazione che risulta già distrutta nel 1224. Ma sicuramente il promontorio era abitato anche in epoche precedenti, come sembrano confermare i sarcofagi romani collocati nelle fondamenta della muraglia. Gli imponenti resti murari del castello oggi visibili sono gli unici elementi sopravvissuti non solo alla distruzione avvenuta nel XIII secolo, ma anche agli incessanti saccheggi operati per il recupero del materiale edilizio. Ancora nell’Ottocento pietre del castello vennero usate per realizzare i cordoli della costruenda strada cantonale.

Sul promontorio si trovava, documentato dal 1399, un oratorio dedicato a S. Ilario. L’odierno, di S. Maria Addolorata, è stato costruito verso la fine del XVIII secolo in stile tardo barocco. L’interno, a croce latina, ha una navata coperta da due cupole: nella prima affreschi raffiguranti angeli che recano gli strumenti della Passione di Cristo e le figure dei profeti nei pennacchi; nella seconda affreschi illusionistici e scene della Vergine eseguiti da Mario Gilardi nel 1939. Sulle pareti della navata, altre scene della vita della Vergine risalenti al XVIII secolo.