不肯去观音是观音修道的地方，里面有全山建寺最早的地方不肯去观音院。在潮音洞旁，有一堵黄色矮墙围着三间质朴的佛堂，佛堂中终年香烟缭绕，这就是不肯去观音院，可乘坐1号线到“紫竹林”下车。不肯去观音院于1980年得以重建。