Oprindeligt lå det romerske forum her, men i 508 byggede Kong Clovis en kirke, hvor han og hans hustru blev begravet. I middelalderen blev det et kloster. Pantheon skyldes imidlertid Ludvig XV. Da han blev syg lovede han, at hvis han blev rask ville han bygge en stor kirke her - tilegnet byens helgen Genevieve. Der gik dog 11 år,1755, førend det første udkast var færdigt og revideret i 1777, 13 år efter var bygningen færdig lige op til den franske revolution.
Den er som navnet antyder inspireret af Pantheon i Rom, med peristyl og porticus, korintiske søjler og formet over et græsk kors. Men også kun inspireret, blandt andet er kuplen faktisk 3 kupler og udformningen meget forskellig herfra.
Den blev til kirke og så mausoleum under den franske revolution, derefter kirke og så mausoleum atter og atter i tiden efter. Siden Victor Hugo´s død i 1885 har Pantheon været et mausoleum for personer enten af høj stand eller i nyere tid til hæder og minde om den afdøde persons særlige betydning for Frankrig.
Og hvad skal man så mene om denne voldsomme bygning? Den var i hvert fald i tidens klassicistiske smag og et udtryk for, hvad kongemagten brugte penge på. Men den er også samtidig et historisk monument, og brugen af bygningen til folk, som særligt skal hædres til evig tid er vel ganske udmærket. Der er forskel på folk - også i døden.