飞来寺位于距离德钦县城8公里处的滇藏公路边，正对梅里雪山主峰卡瓦格博。距今已有380余年。如今，飞来寺特指寺庙周边自发形成的村寨，因这里是观赏梅里雪山的最佳位置。
关于飞来寺，有一个充满神秘色彩的故事：相传多年前，当地没有寺庙，某人立志建一座寺庙，于是筹款募捐，三年后材料才勉强够，还差一座大梁。某夜，天空一声巨响，飞来一条大梁，于是寺庙得以建造。因大梁是别处飞来，故名飞来寺。事实上飞来寺是个很小的寺庙，平时只有一个喇嘛和一只猫还有一只大公鸡为伴。
飞来寺刚好位于滇藏线路边，这里又是观看梅里雪山最好的位置，于是人们在此建造饭店客栈，随着此地越来越热闹，渐渐的人们把寺庙周围的村子称为飞来寺。