刘玄德麾下的兵马了，可以说他算得上是一名真正的老将了，就算没有那无双勇力在身，恐怕那也是一名经验丰富的老将。

兴平元年，张翼德作为偏将跟随刘玄德攻打围困北海孔融的黄巾余孽管亥，虽然没有什么大的举动，不过好歹也算是正经儿的带着正规军出手过了也。

同一年，曹操又因为自己父亲被杀发兵攻打徐州，张飞又随刘备前往徐州救援陶谦，陶谦表刘备为豫州刺史，张飞随刘备屯兵于小沛，而此时张飞的地位水涨船高的同时，麾下的兵马也越发的多了。

兴平三年，袁术攻打刘备，争夺徐州。刘备派张飞守下邳，自己则将兵在盱眙、淮阴抵抗袁术，双方僵持了月余，互有胜负，此时刘玄德和关云长两个人已经开始成长了。

只可惜这两个人成长了，张翼德却是成长的比较晚一些，在下邳一战，张翼德将自己能丢的全都丢了。

下邳相曹豹是陶谦的旧部，与张飞不和，曹豹坚守营寨，又派人去找吕布来救。时袁术给吕布写信，劝其乘机袭下邳，答应事成后，援助吕布粮草。

吕布很高兴，率军水陆并进。吕布军队抵达下邳西四十里时，刘备的中郎将丹杨人许耽派司马章诳前来迎接吕布，并向吕布透露了张飞和曹豹相争，下邳城内大乱。

丹阳兵都在西白门城内等待吕布的到来，于是吕布便大举进军，早晨到达城下。天亮后，丹阳兵打开城门。吕布坐在城门上，指挥军队大破张飞的部队。吕布俘获了刘备妻小以及刘备的部曲将吏士们的家人。

（在这里必须说一句，张飞丢失下邳这件事并不是所谓三国演义上说的，那么扯淡，第一曹豹和吕布是翁婿关系，第二袁术也的确是在当时和刘玄德对阵的时候，让人使了盘外招，第三，刘玄德本身麾下的兵马，丹阳精锐不战而降，主动献出了下邳城。

《英雄记》：布水陆东下，军到下邳西四十里。备中郎将丹杨许耽夜遣司马章诳来诣布，言“张益德与下邳相曹豹共争，益德杀豹，城中大乱，不相信。

丹杨兵有千人屯西白门城内，闻将军来东，大小踊跃，如复更生。将军兵向城西门，丹杨军便开门内将军矣”。布遂夜进，晨到城下。天明，丹杨兵悉开门内布兵。

布于门上坐，步骑放火，大破益德兵，获备妻子军资及部曲将吏士家口。

按照《英雄记》的记载，吕布在这一场大战之中的确是偷袭，不过人家压根就没有动手，算得上是白赚！

不过同样是《英雄记》的记载，张飞这次的确是太莽撞了，初期的张飞受不得气，所以才和曹豹有了冲突，当然这个冲突不是因为喝酒，而是因为糜家投靠了刘玄德，而曹豹所在的曹家选择投靠了吕布。

《英雄记》：备留张飞守下邳，引兵与袁术战於淮阴石亭，更有胜负。陶谦故将曹豹在下邳，张飞欲杀之。豹众坚营自守，使人招吕布。布取下邳，张飞败走。备闻之，引兵还，比至下邳，兵溃。收散卒东取广陵，与袁术战，又败。）

在张飞跟着刘玄德攻打广陵失败之后，他们选择了认命，主动向夺走了自己地盘的吕奉先低头认错，然后这件事对于张翼德而言可以说是打击很大的。

吕布还刘备妻小。刘备也再次驻小沛，刘玄德虽然失去了徐州，也失去了丹阳精锐，但是他依旧还是那个大汉刘玄德，所以当他再次开始安稳下来的时候，他发展也变得快了起来，不久便聚众万余人。

建安三年，，吕布军队用来购买军马的黄金被刘备的部下抢走，而这件本来可以作为无头公案的事情却是让刘玄德自己的手下告诉了吕布，然后这个黑锅就再次落到了张飞的身上。

吕布于是派遣高顺等人攻打刘备，刘备不能抵挡。夏侯惇奉命前来救援刘备，却也被高顺击败。不久，高顺等人彻底击溃刘备军，这是张翼德出道之后