蒙山大佛本是开化寺后的佛像。开化寺建于公元559年(北齐天保二年)，北齐文宣帝高洋赐额开化寺。寺后凿石修路，在寺后一里处依山凿刻佛像，即蒙山大佛。
蒙山大佛开凿的年代存在争议。一种观点根据《永乐大典》中《太原志·太原县》的记载，认为蒙山大佛的开凿始于北齐天保二年。另一种观点根据明嘉靖《太原县志》、明成化《山西通志》的记载，认为蒙山大佛的开凿在开化寺建寺之后，即晚于天保二年。有研究者根据五代苏禹圭《重修蒙山开化寺庄严阁记》中所述北齐文宣帝天保末年，凿石通蹊，依山刻像，认为蒙山大佛的开凿始于公元559年(天保十年)。
隋朝仁寿年初，开化寺中新建佛阁以保护大佛，并改名为净明寺。公元620年(唐武德三年)，唐高祖李渊曾来此礼佛，并将寺名改回开化寺。另一说李渊礼佛是在称帝之前，礼佛回去后当夜梦化佛满空，毫光数丈，登基后李渊将寺名改为开化寺。公元657年(唐显庆二年)，唐高宗李治巡幸并州，与皇后武则天同游童子寺、开化寺，童子寺佛像高一百七十多尺，开化寺大佛高二百尺，李治与皇后、妃嫔、宫人施舍了很多珠宝、财物、衣服。
公元844年(唐会昌四年)，开化寺佛阁在唐武宗灭佛中废毁，蒙山大佛遂暴露在风雨中。公元895年(唐乾宁二年)，盘踞并州的河东节度使、后来追封后唐武皇帝的晋王李克用参拜蒙山大佛后，命人重建开化寺佛阁。历经五年，佛阁终于建成。公元945年(后晋开运二年)，镇守太原的北平王、后来的后汉高祖刘知远到开化寺焚香礼佛后，出资重修佛像和佛阁，留有苏禹圭所撰《重修蒙山开化寺庄严阁记》。