咸丰十年（1860）初，清军江南大营再被太平军一举击溃，苏、浙的形势万分危急，朝廷连下八道命令催促曾国藩率部救援，并授予其两江总督实职。为配合朝廷援苏、援浙的要求，曾国藩把湘军大本营从安徽宿松搬到皖、浙、赣三省交界处的祁门县，李鸿章却大不以为然。他说，那个地方像个锅底，兵家把这样的地方称为绝地，如果把大营建在这里，等于自寻死路，从战略上看十分危险，必须赶紧离开。曾国藩不从，李鸿章再三陈说。受李鸿章移军思想的影响，湘军上下要求曾国藩移师的呼声日渐高涨。
曾国藩执意驻守祁门，主要由下列因素促成：
一是曾国藩认为，祁门地连皖、浙、赣三省，皖南东部又与江苏接壤，战略地位十分重要，目前不仅可阻太平军由浙、赣两省进援安庆之路，力保湘军粮饷重地江西、湖北以及老家湖南的安全，而且将来可为进兵苏南张本。二是曾国藩有意做给朝廷看，以表明自己坚决执行朝廷命令的态度。三是曾国藩认为，当此“军心动摇之际”，大营一旦移动，势将造成军民纷乱，出现大溃局面，还不如暂时固守祁门，“以待事机之转”。
也就是说，李鸿章建议移军完全着眼于军事，曾国藩死守祁门则是兼顾政治。在曾国藩看来，军事当然必须服从政治。正因如此，所以不管什么人劝他移军，他都固执不听，说得多了，说不定还会被他嘲笑一顿。
受到曾国藩嘲笑还算客气。有一次，李鸿章再劝曾国藩移军，曾国藩居然十分气愤地公开声称说：“各位要是胆小怕事，都离开好了！”
不久，李鸿章果然因为反对曾国藩弹劾李元度一事而负气出走。
李鸿章虽然离开了曾国藩幕府，但并未割断与曾国藩的联系，他多次直接写信劝说，或请胡林翼代劝曾国藩从祁门“及早移军”。胡林翼不仅支持李鸿章的主张，而且说李“颇识时务”。
紧接着，曾国荃也从安庆前线派人送来一封“情词恳恻，令人不忍卒读”的信件，用近乎哀求的口气请大哥迅速移军东流或建德。
更让曾国藩动心的是，在太平军攻击之下，祁门大营危如累卵，一日数险，有一次太平军前锋距祁门大营仅有十八里，形势岌岌可危，在祁门坐以待毙的曾国藩再次遗嘱后事。全军濒于瓦解之际，曾国藩身边人员“凡前言祁门可屯者”，此时也“皆更请国藩亟去”。
曾国藩这才下定决心，将两江总督衙门从祁门山区搬到长江边上的东流（位于安徽省东至县长江南岸），并对李鸿章高超的战略眼光殊为欣赏。
“祁门移军”之争产生的裂痕尚未弥合，李鸿章与曾国藩又因李元度事件矛盾再起，可谓一波未平，一波又起。
李元度是曾国藩的老秘书。早在曾国藩奉命回乡办团练时，在湖南做教谕的李元度就加入了曾国藩幕府，参赞军务，患难相从。在曾国藩众多幕僚中，除刘蓉、郭嵩焘这些老朋友外，就数李元度资历最老了。尤其是在湘军最初屡打败仗，曾国藩几次被人“打落门齿”之时，刘蓉、郭嵩焘等人都不肯出来相助，勉强拉出来后也很快借口离去，王闿运《题铜官感旧图》所写“刘、郭苍黄各顾家，左生（左宗棠）狂笑骂猪耶”，指的就是此事，唯有李元度忠心耿耿，不离不弃，与曾国藩同甘共苦度过了七八年艰难岁月。李元度的忠诚和支持，无疑比金子还珍贵，对事业初创时期的曾国藩实在太重要了。
然而，李元度擅长文笔却缺乏军事本领，曾国藩也深知其并非统军之才，只因自己私情荐举，李元度才被任命为徽宁池太广道即皖南道道员，领兵驻防徽州（今安徽省歙县）。
徽州是皖南通往浙江、江西的要道，军事地位非常重要，是祁门大营的大门。在太平军进攻的时候，李元度违反曾国藩坚壁自守的指令，擅自出城迎战，结果一触即溃，徽州陷落，大门洞开，湘军大本营祁门因此丧失防守的前哨阵地，直接暴露在太平军的面前。
李元度乱中逃生后，在浙赣边境游荡，经久不归。后来虽然回到祁门，但并不束身待罪，不久又私自离去。曾国藩悔恨交加，一气之下，决定具疏严参，以明军法，并自劾用人不当，请求处分。
李鸿章受命撰写弹劾文书，不仅拒绝起草，而且率众坚决反对，理由是李元度失败的根本原因是曾国藩用人不当。还说李元度“到防不数日，猝遇大敌，守无备之城，又数日而陷，非其罪也”。如果因為李元度“不遽回祁门加以严劾”，是无论如何都说不过去的。
总之，在李鸿章看来，李元度是个典型的读书人，豪言壮语颇多，带兵作战能力较差，不是一位将才。曾国藩也深知李元度的短处，却派他领着一支数量不多且是新招募的部队防守兵家重地徽州，兵败后又要严词纠参，这是毫无道理的。况且李元度在曾国藩最困难的时候有恩于他，因此，于公于私都不能做得太绝情。
曾国藩则认为私情不能代替军纪，李元度违令失城之罪如果不究，那么将来人人效法，湘军军纪还如何维持？因而坚持弹劾。
两人谁也说服不了谁，一时心急，难免情绪失控。李鸿章来了脾气，说 ：“如果一定要弹劾，门生不敢起草。”
曾国藩一听，火往上冒，说 ：“我自己会写。”
李鸿章想不到老师会说出这种绝情的话来，也就无所顾忌地说道：“若是这样的话，门生亦将告辞，因为留在这里已经毫无意义，只能离恩师而去了。”
正在气头上的曾国藩也失去了冷静，说：“脚在你身上，想走就走！”
如果说“祁门移军”之争还只是停留在工作意见相左的层面上，那么，因李元度事件而产生的分歧和对立，两人针尖对麦芒，谁也不让谁，就是明显的意气用事了。
两人已经把话说死，谁都不愿意先服软，李鸿章面前只有一条道可走。不久，他果然负气出走，离开了曾国藩。
咸丰十一年六月初六日，在他人劝和下，又经曾国藩深情敦促，早已心生悔意的李鸿章返回了曾国藩幕府，曾对他也“礼貌有加于前，军国要务，皆与筹商”。
之所以如此，一方面是曾国藩十分看重李鸿章的能力，特别重视和珍惜他这个人才，另一方面，正如吴汝纶所说，李鸿章能以个人进退坚守自己立场的刚毅性格，曾国藩也是颇为欣赏的。
然而，重返曾幕后的李鸿章，敢说真话的性格依然故我。李鸿章平生虽然最佩服曾国藩，有时甚至把曾当作神灵一样敬奉，但对其缺点和不足，不仅很少讳饰，而且常常当着曾国藩的面毫不客气地说出来。
重回曾国藩幕府仅三周后的咸丰十一年六月二十八日晚上，曾国藩和李鸿章在东流两江总督府后院边乘凉边聊天，当说到曾国藩的短处时，李鸿章脱口而出：“您处理事情比较迟缓，缺乏魄力，不果断。”曾国藩认为李鸿章点到了问题的要害，于是在当天日记中深有感触地写道：“与少荃久谈，至二更三点始散。论及余之短处，总是儒（懦）缓，与往年周弢甫所论略同。”
与周腾虎一样，李鸿章的“可爱”之处就在于，他说话不会看人眼色，更不会投其所好，阿谀奉承，而是直抒己见，坦诚相待。曾国藩对此恰恰十分欣赏，哪怕李鸿章反对错了也不计较。一个敢于直言，一个胸怀宽广，这就是曾、李二人十分投缘的地方。日后曾国藩选定李鸿章而不是别人做接班人，也就不足为奇了。
（摘自《同舟共进》）
