祖父岑全，南宋秘書省校書。父岑珍，宋末仙居教諭。岑安卿生于元世祖至元二十三年，卒于惠宗至正十五年，年七十歲，與李孝光、危素友善，一生未仕。岑安卿的老師是姚北著名的志士厲元吉。厲元吉，南宋咸淳七年（1271年）進士，曾任烏程縣尉。宋亡后隱退在家，元朝政府為籠絡人心，遍訪宋臣，任以高官。厲元吉不得已背井離鄉，浪跡湖海，白首始歸，著有《半山文集》12卷（一作《半村集》10卷），“多悲憤語”，表示他對故國的懷念之情。

岑安卿受其師的影響，不喜科舉之業，樂于圣賢之道，“故岑氏多以科第顯，而安卿獨隱居樂道，以名節高天下”（《余姚六倉志》本傳）。他筑室在上林湖畔的栲栳峰下，因號栲峰，人稱栲栳山人。盡管地處偏僻，但慕名者仍循跡而來。至治年間，下詔求賢，直省舍人劉孛蘭溪、知州脫脫先后以安卿學醇行潔而薦，都被他拒絕了。但對于造福鄉里的事，他從不推諉。

至元元年（1335年）夏，姚北海溢，自上林至蘭風數十里悉遭水淹，“民嘆其魚”。余姚州判葉恒特地找岑安卿商量對策。他建議葉恒按田畝繳糧后，免除其他全部課徭，使百姓能全力以赴筑塘保田，并且必須建石堤，這樣可解除后顧之憂，并當場贊助一千多石糧食，請葉恒免計上林田畝，以解鄉民之急。葉恒一一照辦。他又請岑安卿協助修筑海塘，管理財務，使工程如期完成，且所筑海塘較為鞏固，此后百余年無重大海溢災害。當時流傳這樣一首民歌：“姚民半魚，葉侯作堤；葉侯作堤，岑公實尸（意為主持）。”表達了人民對葉恒及岑安卿的感戴之情。

至元、至正年間，江浙行省與州郡守宋文瓚、王沂、葉恒等都交章論薦，朝廷亦準備委以重任，岑安卿以老力辭，日與處士王毅等人放情林湖、栲峰間，吟詩作文，悠然自得。直到70歲去世，趙謙等私謚貞元先生。