安養院は、曹洞宗(禅宗)の寺院で、室町時代の文明7年(1475年）に本庄の城主本庄氏が開基となり、沼田の迦葉山龍華院三世玉岑慶珠を招いて開山したと伝わります。慶安2年(1649年）には第3代将軍徳川家光より御朱印地として25石の寺領が安堵されています。
本堂は入母屋造りで、寛政2年（1790年）に再建されたものです。山門は元禄15年（1702年）の建築で入母屋造り二階建て楼門、総門は享保元年(1716年）の再建で、切妻造り桟瓦葺きです。
墓所には、渋沢栄一とともに日本の近代化に尽力し、後にセメント王と呼ばれた諸井恒平や旧日本経営団体連盟（現在の経団連）の初代会長を務めた諸井貫一の墓があります。