杨姓家族在全国也是一大旺族，在太原西山有一万余人。据说在此地住已有两千多年了。

关于始祖来历，上祖流传是河东杨氏始祖杨干的后代，也有传说是杨家将杨二郎子杨宗应的后代。杨宗应生子杨晨、杨午。

宋太平兴国四年（公元979年），宋帝赵匡义继位后御驾亲征，三次进攻晋阳，北汉军民在食尽粮绝后晋阳陷落。赵匡义一怒之下下令把全城人赶出去，于农历五月十八日放火烧城，未走的人全部烧死，杨氏先祖先迁至太原西部的石千峰山上的卧龙岗，而潘仁美为断杨氏后代，进馋言说太原西山像条横卧的蟠龙，太原有王气，所以高齐、李唐至五代的唐、晋、北汉都以太原为根基而创立帝业，为确保宋家江山，必破此风水，使之不再出真龙天子。于是宋帝命潘仁美在晋阳东北（现阳曲县境内）铲除大禹治水时的停靠地系舟山，拔了龙角，又到太原市西山石千峰北坡下的卧龙岗边挖一深坑以斩断龙脉，现尚存在一壕沟约长200米宽20米深叫“剜断壑”。卧龙岗当时有一棵高大的“神杨树”，树冠如帝王之伞，树前就是杨氏族祖先居住地，至今仍有祖居的窑洞和祖坟遗址。而神杨树被蟠仁美砍后经剜断壑流出红水，流至现在的古交市邢家社乡龙子村（属于二选世纪红土层，恐龙骨遣址）。

而居住在石千峰东的南峪村、潘道村的潘仁美后代恐遭杨氏诛伐，民间曾有“南峪潘道，改潘姓赵”之说，同时潘道村被当时政府改名为斜道村，意为歪门斜道，现更名为新道村。