勇大臣总领六师，留守京邑；又行清野于河北、山东诸道，候军声国势少振，然后驾还中都，则天下定矣。”
高宗皇帝听后，深以为然，于是决定巡幸江宁，李纲数次上奏，皆被驳回。
此时有人劝李纲道：“公决于进退之义得矣，而今对官家谗言者不止，将有不测之祸，该当如何？”
李纲正色说道：“大臣以道事君，不可则止，我只知事君之道，却不知顾全自己进退之节。患祸非我顾虑之事，天下自有公议，此不足虑。”
此时张浚为御史，上书弹劾李纲虽负才气、有时望，然以私意杀侍从，典刑不当，不可居相位；又论李纲杜绝言路，独擅朝政，事之大小，随意必行，买马之扰，招军之暴，劝纳之虐，优立赏格，公吏为奸，擅易诏令，窃庇姻亲等十数事。
高宗皇帝又听黄潜善之言，拟旨责李纲以“狂诞刚愎，谋谟弗效，既请括郡县之私马，又将竭东南之民财。以喜怒自分其贤愚，致赏罚弗当于功罪。出令允符于清议，屡抗执以邀留；用刑有拂于群情，必力祈于亲札，以至帖改已画之旨，巧蔽外姻之奸。兹遣防秋，实为渡河之扰，预颁告命，厚赐缗钱，赏逾百万之多，仅达京师而止，每敦促其速进，辄沮抑而不行，设心谓河，专制若此!”于是贬李纲为观文殿大学士、提举杭州洞霄宫。
可怜李纲一代忠臣，前有拱卫京师之功，后有治政之劳，却不能在任上大展拳脚，最终为奸人所嫉，无奈而退，在相位只得七十五日。