虽然李林甫生前能左右大局，但他却无力左右自己死后的一切，他死后的一切都将落入一个死对头手中。
果然，不久杨国忠取替李林甫任宰相，他立即将李林甫多年经营的小集团的势力扫荡一空。
天宝十一年十一月李林甫去世，天宝十二年初，杨国忠上奏玄宗皇帝：李林甫生前曾经同异族人阿布思勾结企图叛乱。就在这时，恰巧安禄山把阿布思部落的投降者送到京城。玄宗为弄清真相，便下令召来投降者，审问李林甫和阿布思的关系，结果查明李林甫的叛情皆为事实。
于是，圣旨下发：削去李林甫的官爵，没收他的财产，毁掉盛尸的棺木；剥去尸身上的金紫衣，将他贬为无名之人以小棺木改葬。同时，处罚他的全族。
19.安禄山叛乱
大唐天宝十四载，杨国忠掌政已经有一年了，天下升平，似乎比头一年的发展更好。不过，皇帝对杨国忠的宰相权仍然有若干限制，一些比较特殊的事件，仍然由他自己决定，杨国忠和另一位宰相韦见素，共同发现了安禄山在拥兵，扩展势力的情况，明眼人一看到安禄山那阵势，就知道这家伙必然另有异谋，他们曾联合着一再请求削减安禄山的权力，防患于未然。但是，皇帝却不应允。渐渐地，杨国忠觉得情势越来越严重，便奏请以安禄山为宰相，召入朝中，借此分散他的三道兵权。