唐中和三年（883年）始建。當時有一天竺（古印度）麻衣和尚由四川東下至黃山， 在此定居結茅，自組織麻為衣，挖蕨根、采野果為食，趺坐誦經。當地山民為其蓋寺一座，名“麻衣道場”。南唐保大五年（947年）李璟敕賜“翠微寺”寺額，寺亦易名。該寺附近有與麻衣和尚有關的“麻衣洞”、“麻衣臺”、“錫杖泉”、“麻衣塔”等。麻衣洞是其起初居住的石洞；麻衣臺是其佇高念佛號的石臺；錫杖泉傳為其用錫杖點地而涌之泉；麻衣塔是其舍利寶塔。翠微寺歷史上著名僧人還有兩峰祖師、凡空禪師、超綱方丈等。     
    翠微寺自建寺以來毀建數次，清朝時曾在心空法師主持下重建。1985年，該寺進行了一次大規模修整。翠微寺現存佛教建筑為一小型院落，前有山門，中有殿堂，后為僧舍。其中大殿為清朝所建，系仿唐風格。其余建筑為改革開放后重修。寺院所處環境清幽別致，寺周有翠微洞、青牛溪、探水石、袈裟地等勝跡。另外還有僧人墓塔20座，較古老的是普同塔，塔主為雨峰祖師；唐、元、明、清時代各類碑記20塊；珍藏佛經數十部。并自緬甸化緣來千尊玉佛，其中最大的一尊臥佛重達15噸。寺中還藏有《大藏經》兩部，并發現有舍利子。
    翠微寺也是黃山唯一有和尚的寺廟。