永和元年(1375年）、浄土宗の第七祖了譽聖冏上人が観音堂を建てたのが始まりと伝えられています。

のちに逆井城主であった逆井常繁公は同上人に帰依し天文年中に伽藍を創建。常繁公の菩提を弔うため、弟の利光によって墓碑が建てられ「常繁寺」と改称されます。観音の霊地なるを以て、慈雲山千手院常繁寺と称し当代に至ります。本尊は阿弥陀如来です。

県道から続く長い参道の先にある朱塗りの山門をくぐると、無患子の大木の下に観音堂があります。観音さまの慈悲の心に蒙りたいと願う参詣者が多く、地域の人々の篤い信仰を集めています。