宣帝神爵四年（公元前58年），单于对于东方的控制力逐渐削弱到一个层次，于是，东方将领们便拥立一位亲王即位，号称呼韩邪单于。单于自然不甘心草原上出现另外一个单于与和他平分草原。所谓“天无二日、国无二君”，呼韩邪单于一旦册立，就代表着匈奴此后必将产生战争，而且必须要一决胜负。

单于出兵讨伐，但是其大军被杀得片甲不留，连单于自己也战败被杀。这是由于他人心尽失，并且呼韩邪单于得到了许多将领的支持，实力更加雄厚。和中原政权一样，匈奴也相信名正言顺。呼韩邪单于杀了老单于便后悔不已，其实，他大可以将单于握在手中，也免得正统一失去，草原大陆便陷入群雄逐鹿的纷乱之中。

见单于被杀，西方将领们为了夺取草原的霸主地位，也拥立另一位亲王即位，号称屠耆单于。两个单于，互相攻击。次年，草原上又崛起了三个单于，于是五单于并立，全国大乱。呼韩邪单于此举，没有考虑到自己的声望难以一统草原，不仅将自己陷入了有王霸之志的群雄的愤恨之中，亦使得此后的匈奴陷入了长期的衰弱。

经过一番为敌报仇式的自相残杀，呼韩邪单于技高一筹，实力强劲的他成为五大单于之中最后的赢家。然而他并非整个草原帝国的最后霸主，因此就在他接连大败其余四大单于之时，他的一位族兄已经在东方自立，号称郅支单于。

宣帝五凤四年（公元前54年），郅支单于打着除国贼的旗号，向西进攻呼韩邪单于，大军不久便进入王庭（当时匈奴的王庭设在今蒙古哈尔和林），呼韩邪单于不敌，大军节节向南败退。

从这一年起，匈奴分裂为南北两部分，即南匈奴和北匈奴，匈奴的分裂对于当时正处于鼎盛时期的汉朝而言，无疑是锦上添花的好事情，百余年的纷争，从当初汉高祖“白马之围”的耻辱，到如今坐收渔利的惬意，实在是天翻地覆的改变。

西域列国此时也唯西汉马首是瞻，南北匈奴要获取胜利，其关键就是得到汉朝的支持，为了争取外援，南北匈奴争着向汉朝奉承乞怜和争着派遣太子到中国充当人质，汉朝也采取了来而不拒的策略，两不相帮。

按照汉宣帝的设想，匈奴一直分裂下去，才是对汉朝最为有利的事情，因此，它只可能去帮助弱者去对抗强者。不久，南北匈奴便高下立判，呼韩邪单于无法抵抗郅支单于的攻势，向南方汉朝祈求援助，但是此刻的汉朝内部，还不能够下冻决心去帮助他，因为那样一来，不仅会彻底得罪北匈奴，还有可能“养虎为患”，让呼韩邪单于强盛起来。