皇帝不得不收回成命。
而此事正好给了秦桧机会，于是便暗中向高宗皇帝进言道：“陛下春秋鼎盛，尚无嫡子，赵鼎此举乃逼陛下立储，其心可疑。依臣之见，当等数年陛下得嫡子后再行此事亦未为迟。”此言正中高宗皇帝下怀，于是便开始对赵鼎用心存疑。
当高宗皇帝言行传到赵鼎耳中后，其枯坐一夜，次日上朝时便上奏道：“臣近日生疾，望陛下准臣辞官休养。”
高宗皇帝假意相留，赵鼎愤愤说道：“大中持正论，为章惇、蔡京之党所嫉。臣议论出处与大中同，大中去，臣何可留？”
此言一出，高宗皇帝脸色大变，于是传下诏谕，去其左相之职，授以忠武节度使出知绍兴府。
当赵鼎离朝之后，王庶心中不平，便上奏道：“臣切详王伦之归，以为和好可成，故地可复，皇族可归，上自一人，下逮百执事，皆有喜色。独臣愚闇，不达事机，早夜以思，揣本齐末，末见其可。臣复有强聒之情，别无它情，止知爱君。和之与否，臣不复论，且以目今金人利害言之，讲和为上，遣使次之，用兵为下。何以言之？金人自破大辽及长驱中原，几十三年矣，所得土地，数倍汉、唐，所得珠玉子女，莫知纪极，地广而无法以经理，财丰而持势以相图。又，老师宿将，死亡殆尽，幼主权分，有患失之虑，此所以讲和为上也。金人灭大辽，荡中原，信使往来，曾无虚日，得志两国，专用此道。矧自废豫之后，阴谋败露，杌陧不安，故重报使人以安反侧，兼可以察我之虚实，耗我之资粮，离我之心腹，怠我之兵势，彼何惮而不为！此所以遣使为便也。金人之兵，内有牵制，外多疑忌，所用之人，非若昔日之勇锐，所签之军，非若昔日之强悍；前出后空，或有覆巢之虞，率众深入，不无倒戈之虑；又，淮上虚荒，地无所掠，大江浩渺，未可易渡，诸将兵势，不同曩时，所以用兵为下也。今彼所行皆上策，至为得计，吾方信之不疑，堕其术中，惟恐不如所欲。臣不敢效子胥出不祥之言，杀身以立后世之名，于国何补？惟陛下深思之，速断之，无使后之视今，亦犹今之视昔，天下幸甚！臣蒙陛下过听，擢置枢庭，言虽忠而不适于时，虑虽深而不明乎变，愚鲁自信，滞固不移，臣亦自厌其迟钝，况它人乎？兼自今冬以来，疾疹交作，精神昏耗，脚膝重膇，若犹贪冒宠荣，不知退避，罪戾之来，所不可逭，陛下虽欲保全，有所不能。伏望矜臣衰备，保臣始终，俾解职事，除臣一在外宫观差遣，以便医药。”
高宗皇帝早就对王庶言行极为反感，于是很痛快地
…。。