中卫市区中心的鼓楼南门上，有匾曰“对峙香岩”，说的就是地处中卫南部的香山。香山地区明代时系朱元璋第十六子庆王的封地，至清代纳入中卫县治。
香山峰峦起伏，绵延不断，主峰海拔2361米，其势高插云霄，拔起于群山之上，雄伟壮丽，大气磅礴。主峰顶上有天然平台一块，旧时建有“香岩寺”。后来，烧香拜佛的人越来越多，寺名逐渐被香客和群众称为“香山寺”。
香岩寺屡经修茸，规模越来越大，甚为壮观。绕寺环顾，群山重叠，向北远眺，沙漠浩瀚，黄河如练，村镇星罗，道路纵横，令游人纵目驰怀，心旷神怡。清代诗人宋楫的《香岩登览》诗赞日：“边城古刹势崔嵬，竞日登临未拟回。俯视河山收眼界，恍疑身茁雨花台。
香岩寺塔林：座落于中卫城区香山主峰之巅的香岩寺东，南坡脚下。占地面积约1000多平方朱，共有大小塔10座，分砖筑、土筑两种。个别砖塔稍有倾斜，土筑的有3座，现已倾塌仅存基址。该处塔林为清代历任香岩寺主持僧人的墓塔。