Byl nalezen jako odložené dítě kolem r. 70 ve Smyrně zbožnou vdovou, která ho vychovala. Stal se žákem apoštola Jana, který jej kolem r. 100 ustanovil biskupem ve Smyrně.
R. 107 byl veden sv. Ignác v okovech do Říma. Ve Smyrně se setkal s Polykarpem i celou místní církví. Po této návštěvě napsal Polykarp svůj list Filipanům, kde mluví o povinnostech jednotlivých stavů.
Kolem r. 154 odjel starý biskup do Říma, aby tam s papežem Anicetem řešil otázky slavení Velikonoc. Záležitost vyřešena nebyla, ale oba se rozešli v pokoji. Ve městě se Polykarp setkal s bludařem Marcionem. Ten se ho ptal: „Znáš mě?“ Biskup odpověděl: „Ano, znám tě, prvorozeného Satanova.“
V době pronásledování křesťanů za císaře Marka Aurelia odešel Polykarp na prosbu svých věřících do vesnice nedaleko Smyrny. Vojáci ho hledali a jistý otrok jim prozradil jeho úkryt. Když žoldnéři vstoupili do domu, kde se biskup nalézal, ten je nejdříve pohostil a pak s nimi odešel do města. Soudce Herodes mu jel vstříc, vzal ho na svůj vůz a přemlouval ho k modloslužbě. Protože Polykarp odmítl obětovat modlám, shodil jej soudce z vozu tak, že si biskup zlomil nohu. Přesto však pokračoval Polykarp v cestě, jako by se nic nestalo.
Když jej soudcové nutili k odpadu od víry, biskup prohlásil: „Osmdesát šest let sloužím Kristu a nikdy mi neublížil, ale zahrnoval mě dobrodiním. Jak bych se mohl rouhat svému králi, který mě vykoupil?“ Tu všichni pohané žádali, aby byl Polykarp upálen.
Vojáci biskupa svlékli a dali mu smolnou košili, napuštěnou pryskyřicí. Když jej chtěli přibít ke sloupu, řekl jim: „Nechte mě tak. Ten, který mi dá sílu snést oheň, mi pomůže i bez přibití stát nepohnutě na hranici.“ Proto ho nepřibili, ale jen přivázali. Pak vojáci zapálili oheň. Plamen vyšlehl, ale mučedníkova těla se nedotkl a utvořil kolem něho klenbu. Vidouce to žoldnéři, probodli ho mečem (r. 156).
Mučedník je pochován v malé kapli ve Smyrně.