而庾翼与桓温关系友好，相约一同安定天下，他曾向司马衍举荐桓温，说桓温有英雄之才，不应视作常人对待，要像周宣王时的方叔、召虎那般委以重任。可庾翼死前，却在病中上表请以次子庾爱之接任荆州刺史，此时庾氏已经两任荆州，朝廷也怕尾大难掉有违抑制王氏的初衷，再加上王氏的阻挠，且庾冰死后掌权中枢的何充也反对庾翼的请求。

为了缓解对立，调和各方意愿，与庾氏有亲旧，又是司马氏女婿的桓温得以出镇荆州，为了显示自己和庾氏不是一条心，桓温旋即将有庾翼之风的庾爱之及其兄长义成太守庾方之罢免徙往豫章。

何充的母亲是王导之妻的妹妹，妻子是明穆皇后庾文君的妹妹，侄女何法倪则是司马聃的皇后，有这么几层关系，他自己也想上位，却被庾氏压着一头。直到庾冰死后，何充才趁着庾氏没人够资历的空子独掌大权，不会让庾氏继续执掌荆州重镇，威胁到他在中枢的权位，于是援引桓温作为盟友，可他自己没干两年就病死了，掌握了荆州的桓温就此一步步坐大。

庾爱之被罢免后，桓温以征虏将军刘惔监沔中军事，代替庾方之担任义成太守。桓温的这个举动除了打击庾氏，同时也拉拢盟友，因为刘惔之妻是庐陵公主司马南弟，他跟桓温是连襟，其妹又是谢安之妻。

司马氏皇族一边倚靠士族门阀，一边想着制造所谓的平衡，而在各家士族，则无不想着怎么利用司马氏这块招牌，为自家谋取最大好处。从抬高外戚庾氏压制王氏，继而以桓温打压势大的庾氏，桓温难制后又重新重用王、谢，危机暂时消失后马上挑动王、谢内斗，东晋从建立伊始就陷入从无休止的内耗。

桓温诛除异己时，逼迫新蔡王司马晃出首之人，就是被襄阳名士习凿齿引为知己的桓秘。庾冰的几个儿子里，庾倩、庾柔被下狱论死，庾友因为儿子娶了桓秘之女求情得免，庾蕴饮毒身亡子孙幸免，庾希、庾邈则逃入海陵陂泽，得到表兄青州刺史武沈暗中供应粮饷。

东晋咸安元年（371年）六月，庾希与武沈之子武遵在沿海地区招聚渔民、掠夺船只，次年桓温发现其行迹后派军队前去搜捕。庾希等人却趁夜间攻入京口，召集囚徒发放兵器，称是奉密旨诛除桓温，先被逃跑到曲阿的晋陵太守卞耽征发乡兵二千击败，退守城池后东海太守周少孙奉桓温命令前来征讨，攻克京口擒获庾希等人送至建康斩首。

庾氏受诛后，面对桓温的威势，时任侍中的谢安远远见到桓温，也会俯首遥拜，并以曾在其幕下任职旧事，将二人关系称作君臣。至司马昱死后，群臣因畏惧桓温，竟无人敢拥立太子，等待桓温来决定，尚书仆射王彪之站出来反对，十岁的太子司马曜才得以继位。

但这样的结果，所有人都害怕桓温不满，再带兵入朝来一次政变。于是褚太后提议让桓温摄政，又是王彪之阻止，仅以谢安征桓温入朝辅政，赐羽葆、鼓吹，武贲六十，桓温没有接受也不入朝，因为此时的他已经身感不适。