大香山慈音巖建築採用中國傳統宮殿式造型，參酌現代工程設計，丹楹白壁，莊嚴煥炳，複殿重房，廊台明美。由於林主委深諳五行之理，又精研易經多年。啟建之初，他自方位的勘定、一檐一木的架設，都巧妙安排，例如參考天干地支的二十八宿，分別安置在廟簷的每一個角落，又如建材外觀配色，也採用五行相生，以求和諧美觀，因此慈音巖外觀的黃、白二主色，即著眼於「土生金、金生水」生生不息的象徵意義。