Dette antikke monument hører bestemt til et af de aller bedst bevarede i Rom. Det blev oprindeligt opført af Marcus Vipsanius Agrippa i år 27 f.Kr. og var et tempel dedikeret til de hedenske guder. Agrippas navn står stadigvæk som inskription på granitsøjlerne, M.Agrippa.L.F.COS.Tertium.Fecit, (da: Marcus Agrippa, Lucius søn og konsul for tredje gang, lod dette opføre). Det blev genopført under Kejser Hadrian i årene 118 - 125 e.Kr. og gennemgik senere, i det 3. århundrede en række restaureringer under Severi-kejserne og i 609 blev det givet til Pave Bonifatius IV i gave, der til gengæld brugte templet som en gravkirke og døbte templet, Santa Maria ad Martyres.
Bonifatius IV arrangerede så følgende, at knogler fra de kristne helgener, begravet i katakomberne uden for bymurene, blev begravet i Santa Maria ad Martyres i stedet for.
Pantheon ligger i den lavere del af Rom, i det gamle Campus Martius, på den sydlige side af Piazza ella Rotonda.