巴马山又称马鞍山，位于巴马县城东面的盘阳河与巴马河交汇处，早在史籍中就有称为“笆马”的记载。“笆马”的由来，传说是壮族创世神布洛佗赶着马帮到此停下而化为这一带山脉。其中走在后面的马在盘阳河里化为盘中滩头，而走在前面的领头马回头望见后面的已化为滩头，随即它也就化成了巴马山。该山称为“芭马”，壮语意为马形之山。

    巴马山，海拔1000余米，山势突兀，峭然独立,显得极及伟岸，在古代倍受文人墨客圣境般的描绘，传说唐朝诗人罗隐曾云游此山并留有诗文。该山景致峻美秀奇，是人们旅游观光的好去处。巴马山水源充足，地处险要，是古代兵家凭山踞险之地，明朝时期，桂西土司之间经常进行争袭战争，明王朝为了加强对土司的统治，不断进行武装镇压，战争十分频繁。田州（今百色田阳）岑氏土司为了巩固势力，抵抗侵掠，就利用巴马山优越的地理环境，在山上筑营扎寨，使之成为扼守西北边陲的要塞。

    据史料载，明朝嘉靖五年（1526年）四月，田州土官岑猛，因不满王朝的统治而造反，广西提督都使姚镆调永顺、保靖兵八万，分道讨伐。当时，南丹土官莫杨、那地土官罗志通被奉调征田州芭马寨，莫杨在征讨中卒于军。明嘉靖七年（1528），王守仁抚定田州卢苏等、因分州地置十八巡司，以卢苏为“芭马甲司”，并设置“芭马镇”，在州北芭马山下。从此，以“芭马”作为地名被确定下来，并载入史册。1956年成立巴马瑶族自治县时，才把“芭马”改为“巴马”。

    从明至清代的各个历史时期，地方上的土官不断在巴马山上修筑防御工事，使之成为坚固的营寨，从而演绎出许多故事和传说：如太平军石达开余部攻打该营寨的传奇故事，清朝道光、光绪年间，发生在盘阳河一带反清的“红帮”、“红花会”组织等等。清末，曾在此营寨内设立圩场，称为“圩设”，意为山寨圩场，营寨才慢慢失去它的作用。现营寨尚存有石砌的寨门、围墙、关隘、碉堡、石级小道以及痕迹可辨的壕沟等遗迹，占地面积约10万平方米，是桂西土司遗留下来的大型营寨之一。九十年代中期，巴马山被公布为巴马瑶族自治县重点文物保护单位。