民國五十七年，慈音巖的前身，佔地僅一千六百坪，當時有一百餘坪的梵宇－「觀音禪寺」，主祀觀世音菩薩。由於交通不便，建材搬運困難，加上經費短絀，禪寺廟頂是用木材架設，加鋪石棉瓦，因陋就簡。十年後，緣遇際會，轉由台北道場接掌並即成立管理委員會由林枝鄉點傳師擔任主任委員，旋遵照呂老前人的指示，開始籌劃並逐步擴建大香山慈音巖，巍峨的大道場。

※啟建

艱辛的建廟歷程中，大家有錢出錢，有力出力，雖然物力維艱，但心力卻是無窮。一期一期的工程，在眾人心力的匯聚下，不斷地往前推進。無數的日子，看到許多道親扶老攜幼、充當義工，搬磚挑石運鋼筋水泥，奉獻一己之力。 民國六十七年起至七十年八月，在大家的努力下，原本簡陋的廟宇，擴建完成第一期三層大樓，佔地共八百坪，其中，一、二樓為乾坤禪房，寒暑假時可供給清寒學生做為升學考試的研習場所，三樓接待室、會議室及可容納八百人的大禮堂。

※落成

隨著第一期工程的順利完成，第二期兩層高挑的「大雄寶殿」同時施工，建坪計五百坪，於七十一年十一月完工，由當時中國國民黨中央黨部副秘書長、主任秘書聯合剪綵。加上先完工的第一期工程，成為階梯式的五層樓宮殿型建築，總建坪一千七百多坪，耗資一億七千多萬。七十二年三月，又斥資新台幣三千萬元，興建一座面積三百坪，二層樓式的老中大殿，於七十四年十一月落成啟用，並敦請當時任法務部部長的前副總統李元簇先生、監察院長余俊賢先生及時任台北縣縣長的今交通部長林豐正先生等人聯合剪綵。