李家父子如此对待朱元璋，朱元璋心里自然不舒服，削减了他一千八百石岁禄。汪广洋不争气，没出成绩，朱元璋把他贬到广东行省做参议，而要李善长重新出山，和朱元璋的外甥兼养子、曹国公李文忠总理中书省、大都督、府御史台，同议军国大政。善长虽老，做事仍有作为，帮忙打理御史台，很快见成效。
胡惟庸成了独立丞相。后来朱元璋把汪广洋召回复职，胡惟庸升为第一丞相。胡惟庸是李善长带出来顶上去的，能力不出众，但善于隐瞒，擅长玩动作，让朱元璋很恼火。
但这个胡首相和李首相，关系很不一般，两家也是姻亲，李的侄儿是胡的侄女婿，两人经常往来。朱元璋以谋反罪敲掉胡惟庸，有人告发李善长的弟弟、胡惟庸的姻亲李存义父子是胡党。
朱元璋大范围打击胡党人士，但因李善长的关系就免李存义父子死罪，幽禁在崇明岛。李善长也不谢恩，反而找汤和要三百兵士扩建府邸。这本来是小事，汤和胆小，借了但又出首李善长擅借兵士私用，朱元璋没发作，但记住了这一笔账。
不久，京城有一批罪犯被判流放戍边，李善长几次出面请免掉一个叫丁斌的。朱元璋本来对李善长就有了不少猜忌和恼怒，于是抓来丁斌审查，丁斌重提李存义与胡惟庸勾结。朱元璋重新把李存义下狱，李存义咬出李善长和胡惟庸谋反有牵连。
李存义的供词说：“惟庸有反谋，使存义阴说善长。善长惊叱曰：‘尔言何为者!审尔，九族皆灭!’已，又使善长故人杨文裕说之云：‘事成当以淮西地封为王。
’善长惊不许，然颇心动。惟庸乃自往说善长，犹不许。居久之，惟庸复遣存义进说，善长叹曰：‘吾老矣。吾死，汝等自为之!’”
此状一呈，看来李善长这个开国元勋、皇亲国戚，对于胡惟庸意欲谋反是一清二楚的，但不报告给亲家皇帝，甚至有利可图封个一字并肩王，说不定李善长也会干。不忠不义，理应当诛。
李存义继续说：“将军蓝玉出塞，至捕鱼儿海，获惟庸通沙漠使者封绩，善长匿不以闻。”火上浇油，加速了祸事的爆发，李善长压住通敌信不报，暗放外敌使者封绩。有了这一曲，无疑给胡惟庸谋反案及李善长知情不报，罪加一等。胡惟庸不仅结党谋反，还里通外国，这是天理不容、罪不可赦。
不论是真是假，弟弟状告哥哥纵容、隐匿胡惟庸谋反、私通外敌，同时被蓝玉等边关大将直接效忠，危及社稷江山，朱元璋对李善长唯有痛下杀手。
朱元璋立马下旨，“遂并其妻女弟侄家口七十余人诛之”，这怎还才理会你李善长有多大的勋劳、是多亲的国戚、享多高的殊荣。即便你有免死的铁券丹书，也是一块废铁。
此案，只有李善长的长子李祺和临安公主，被逐出京城，远徙江浦,没过多久病逝。李祺二子李芳、李茂，朱元璋的亲外孙，因公主之故，得到恩免，没有被杀，后来分别做了留守中卫指挥、旗手卫镇抚，但被取消了袭爵韩国公的权利。
解缙曾代虞部郎中王国用为李善长鸣冤：“李善长与陛下同心，出万死以取天下，勋臣第一，生封公，死封王，男尚公主，亲戚拜官，人臣之分极矣。”
朱元璋要做掉李善长，应该说是由来已久，虽一直隐而不发，甚至经常恩赏重用，但他启用对抗李善长的汪广洋、杨宪，以及他在一段时间内静待李善长举荐的胡惟庸继续专权，未必不是要坐实李善长不可饶恕、不予人口实的罪行。
当然，李善长之死，也是富贵至极而忘乎所以。《明史·李善长传》说：“剖符开国，列爵上公，乃至富极贵溢，于衰暮之年自取覆灭。”