就更不高兴，于是对庞统说：“你先回去吧，等用你的时候再去请你。”
庞统叹了口气，出去了。
鲁肃问孙权：“主公为什么不用庞统呢？”
孙权回答说：“他只不过是一个狂士，用了也没有多大好处。”
鲁肃提醒说：“赤壁之战时，此人献上连环计，立下第一大功。”
孙权却说：“当时曹操也想钉船，不见得是他的功劳。”
鲁肃见说服不了孙权，便退出来对庞统说：“并不是我不推荐先生，而是吴侯不肯用您，您要有耐心等待机会。”
庞统沉默不答。
鲁肃接着说：“先生有匡世之才，可去荆州投奔刘皇叔，必然会受到重用。我写一封举荐信，您若是辅佐刘备，必然会使孙、刘两家不再互相攻击，并共同对付曹操。”
庞统说：“请您放心好了，我决不会辜负了您的。”
于是，鲁肃写了一封举荐信给他，庞统带着这封信来到荆州见刘备。
当时诸葛亮去巡察四郡，不在荆州。门吏向刘备报告说：“江南名士庞统，特来投奔。”
刘备久闻庞统的大名，赶紧叫人请他进来，但见到庞统，刘备心中不由得一怔：怎么这么丑陋？求贤的热情顿时冷了下来。他问庞统说：“先生远来很不容易吧？”
庞统没有拿出鲁肃、诸葛亮的举荐信，只是回答说：“听说皇叔招贤纳士，便来了。”
刘备说：“荆州这一带刚刚安定，没有什么闲职。离这一百多里的地方有个耒阳县还缺县令，委屈先生先去那儿就任，今后若有空缺，一定重用先生。”
庞统听到这番话，心都凉了，他想：“刘备待我太薄了，他以貌取人太不应该了！”
庞统还想再说几句，但见诸葛亮不在，也就忍住了，勉强地告辞离去。
庞统来到耒阳县上任，心里一肚子气，整天以喝酒为乐。
有人将庞统不理县衙事务、成天喝酒的事情报告了刘备。刘备非常气愤，说：“这个人怎么敢乱了我的法度？”于是命令张飞说：“你带人到荆州南面诸县巡视一下，如有违法者，一定要追究责任。”但又怕张飞鲁莽坏事，又派孙乾一同去。
张飞和孙乾来到耒阳县