Farní kostel v Borovsku je doložen v souvislosti s hradem již k roku 1350, kdy byl zasvěcen sv. Petru a Pavlovi. Samostatně stojící zvonice pochází z roku 1483. Tři původní vzácné zvony, které zde byly zavěšeny, byly bohužel odvezeny za první světové války. Kostel sv. Petra a Pavla v Borovsku stojí za vsí směrem k břehu přehrady a jako jediná zdejší historická památka se dožil současnosti.

Velká část vsi i s budovou tvrze v bezprostředním okolí kostela byla totiž zbořena při výstavbě vodního díla Švihov a z původního hradu se dochoval pouze do skály vytesaný sklípek. Kostel měl být, stejně jako zbytek vesnice Borovsko, zatopen. Díky přičinění faráře Jaroslava Šimka byl kostel nakonec ušetřen. Ve zdi přístavku kostela se dochovaly dva zajímavé náhrobky Ostrovců z Kralovic. Tvrz v Borovsku využívali právě zmiňovaní Ostrovci, která byla mezi původním hradem a kostelem. Během třicetileté války byla tvrz vypálena. Zanedlouho poté byla obnovena a využívána spíše jako panství, zámek. Na jednom z náhrobků by měl být uveden nápis LP 1587, v pondělí před sv. Václavem umřel urozený a statečný rytíř pan Jan Ostrovec z Kralovic na Zhlumu,
jehož tělo v kostele borovském budoucímu vzkříšení pochováno jest. Na přelomu 80. a 90. let se uskutečnila celková obnova kostela do podoby jaké známe dnes.