谢安死后整个家族遭打压 因皇帝憋屈的太久
安徽寿县谢玄的塑像。
谢安活着的时候，孝武帝司马曜活得很憋屈。好像住在一楼，虽然有个院子，可以种花养草，日子比较悠哉，但前面竖着两栋高楼：谢家和桓家的，把自家的阳光全挡住了。让他恨得咬牙切齿，但对谢家是嫉妒，因为楼层太高;对桓家却是仇视，因为桓温曾想扒了司马氏的百年老宅。
谢安一死，司马曜就准备组建拆迁公司要动手了。谢、桓两家一看形势不对，主动提出搬家走人。
谢家的势力被削弱
谢家有两个重要的人物：谢玄、谢石。
淝水之战后，谢玄乘胜追击，黄河以南基本收复，但手下有两个将领叛逃。他不久停止了北伐，知道忙的事越多，犯的错误也就越多。随后上疏朝廷，写了一份深刻的检讨书，请求辞去一切职务。
司马曜没有同意，说：你没有犯什么错，不要往心里去。前线也很辛苦，你就先回淮阴吧。
然后命令朱序暂时代替他的职务，镇守彭城(今徐州)。
到了淮阴，谢玄患病倒下，持之以恒地向中央打报告，要求辞职回家养老。司马曜不同意，为他派去了御医，嘱咐他：你现在就是好好调养身体，其他的事不用多想了。
不久，司马曜又让人把他接回京口，派御医过去给他治病。
谢玄到了京口，病情一天天地加重，再次上疏，说：我有兄弟7人，先后去世了，现在就剩下我一个，经历的艰难困苦，哪个能和我相比呢?我忍着悲痛，苟活在世上，只是想：上可以报答朝廷，下可以照顾家庭。恳请陛下允许我的请求，回到家乡。
司马曜扣住不再答复，谢玄前后上了十多道奏疏。到了第二年，建康改任他为会稽内史，虽然降到了市级干部，但算是叶落归根。
谢玄抱病去会稽郡任职，4年后，他在会稽去世，终年46岁。
谢玄生前任徐州、兖州刺史等职务，朝廷不再留给谢家子弟，由司马曜的弟弟司马道子兼任徐州刺史，朱序担任青州、兖州刺史。
淝水之战的另一个功臣是谢石。
他的职务是散骑常侍、尚书令，表面看起来还算风光。司马曜为了悄悄排挤他，任用了一个人叫王恭。
王恭的父亲是王蕴，爷爷就是大名士王濛。他最大的特点是：自恋癖。恨不得每天对镜子说：这个人多帅啊。
有一次空中飘着雪，天地之间素裹银装。他坐着高高的车子，穿着用鹤的羽毛做成的宽大衣服，悠闲地穿行在大街小巷，就像男模在T台上走秀，别人看到后赞叹不已，说：这是“神仙中人”啊。
王恭相当自负，认为自己是天生宰相的料。他还有个特殊的身份，妹妹叫王法慧，是司马曜的皇后，他就是当今皇上的舅爷，正儿八经的皇亲国戚。司马曜任他为丹阳尹，相当于负责建康安全最重要的长官。
谢石本人格调不高，他的出名完全是沾了哥哥谢安的光。