苏轼难抑内心激荡，说道：“太后，皇上，子不教，父之过。小儿年岁尚幼，不知礼数，乃是臣为人父没有教导好，其错在臣。臣年过半百，老矣，不堪重任。恳请太后准许臣卸任归田，择一山水美妙之地终度后半生，教导子孙，如此臣不胜感激。”说罢弯腰躬身，须发皆抖，语气中失望之意显而易见。
太后心中也甚是明了这是怎么一回事，苏轼一不小心便被变法派抓住了小辫子，难以脱身了，而心中对苏遁的喜爱并未稍减，那可爱聪明的漂亮男孩怎会是无礼之人？无奈朝堂之上，多有难处，维护皇室威严尤为重要。心里叹息一声，见苏轼去意已决，心里有了计较，开口道：“小小苏年幼，暂且不予责罚，苏卿家日后勤加管教就是。既然苏卿家去意已决，然国家人民尚需要苏卿家，本宫便允许苏卿家去杭州任职，为国为民效力。”苏轼知道这便是太后的旨意了，只得道：“谢太后，皇上厚恩！臣领旨。”
散朝后，苏轼回到家里，对家人宣布了要去杭州的消息，家人虽然在这繁华富庶的京城过了几年定居的生活，却并未染上奢侈的恶习，因此听说要离开京城去杭州都并无不快。苏遁见终是改变不了父亲离京外调的命运，自己反而成了导火索，不由苦笑。苏轼至此反而心平气和，如此未必不是一件好事，一家人倒是甚为平静，等待正式的圣旨到达。第二天苏轼上了正式的请辞表书，书云：“古今有言曰：‘为君难，为臣不易。’臣欲依违苟且，雷同众人，则内愧本心，上负明主。若不改其操，知无不言，则怨仇交攻，不死即废。伏望圣慈念为臣之不易，哀臣处此之至难，始终保全，措之不争之地。臣岂敢以哀病之余，复犯其锋。虽自知无罪可言，而今之言者，岂问是非曲直。今余年无几，不免有远祸全身之意。再三辞逊，实非矫饰……臣若贪得患失，随世俯仰，改其常度，则陛下亦安所用巨？若守其初心，始终不变，则群小侧日，必无安理……所以反复计虑，莫若求去。非不怀恋天地父母之恩，而衰老之余，耻复与群小计较短长曲直，为世间高人长者所笑。伏望圣慈……早除一郡。所有今未奏状，乞留中不出，以保全臣子。着朝廷不以臣不才，犹欲驱使，或除一重难边郡，臣不敢辞避……惟不愿在禁近，使党人猜疑，别加阴中也……”
三日后，正式的圣旨下达，任命苏轼为杭州太守兼任浙西军区钤辖（军区司令），并赐龙图阁学士，时年苏轼五十二岁。任期一年，九月上任，路途遥远，如今七月，正宜南下。收拾好家当行李，全家人准备南下。苏辙与苏轼兄弟情深，依依不舍，饮酒饯行，老臣文彦博也来送行，苏轼潇洒而笑。李格非奉劝苏迨苏过留京读书，不久便是秋考，也想把苏遁留下，难得如此聪慧的少年，自己胸中所学还没教完。苏轼犹豫再三，最后有他们自己决定，结果只有苏遁一人决定留下来，其余人等尽皆南下杭州。
宋哲宗元祐四年七月九日，苏轼一家，除了苏遁留在京城，苏迈在江西为官外，举家南下。家人包括两个丫鬟，两个老妈子，管家老李，以及最近才加入的李戒一家三口。苏轼担心诗词文章手稿在途中丢失，秘密存放于弟苏辙府里，其余行礼物事全部带走。
其时苏辙已升任为吏部尚书，位高权重，事情繁多。苏遁便决定先住到先生李格非家，方便学习。苏轼对于如此安排到也放心，李格非是自己的得意门生，心性恬淡，专心学术。王氏王夫人虽然舍不得，但只得尊重苏轼的安排及苏遁的选择，母子几人挥泪而别。
苏遁随着先生回府，心情波动起伏，心头思绪纷乱，毕竟这是第一次只身离开父母身边，远离亲人，独自生活，想起以前的种种，眼角酸涩，热泪盈眶。先生瞧见苏遁心情难过，一张英俊的小脸全无平时的喜意，难免忧心，劝解道：“遁儿不必伤怀，不久后便可回到父母身边，男子汉大丈夫正该生活自理才是。先生之家，便是遁儿之家，无需多虑。小女五岁，可为玩伴。”苏遁点头道：“多谢先生。”
进得李府，苏遁便被府中典雅气息所吸引。李府不大，也就分前后两小院，各十多间房舍。院内花草树木众多，许多苏遁都叫不出名字来，花香暗传，微风吹动树叶沙沙作响，令人心旷神怡。院内石子小径相通，石子一般大小，平整有趣。前院正厅是客厅，厅内宽敞明亮，茶几桌椅古色古香，两对齐胸瓷器发出幽兰光芒，墙上屏风上挂有字画书法，看得出来出自名家手笔。苏遁叹道：“先生此处文雅至极，先生不愧为雅量高致之人。”先生闻言也甚是自得，呵呵笑道：“先生胸无大志，只能于宅室内自娱自乐。但愿遁儿日后能胸怀大志，一展胸中所长。”苏遁道：“先生何必自谦？先生学识渊博，教书育人，功在千秋！”李格非见苏遁大人般说得让人听着舒服，不由哈哈大笑。
“爹爹回来啦？何事笑得如此开心？”恰在这时，一个如出谷黄鹂般脆脆的小女孩声音在耳边响起，接着一阵轻微细碎的脚步声由远而近。李先生道：“小女李清照，娇宠惯了。”说罢脸上浮现出父亲慈祥的笑容来。“爹——”小女孩已到了门前，张口而呼。
苏遁寻声望去，只见一五六岁的小女孩，身穿一身浅绿色群衫，迎面而来，眼睛大而明亮，双眸漆黑有神，眼内秋水流转，眉毛弯弯，瓜子脸形下巴尖尖，皮肤白嫩吹弹可破，脸上酒窝若隐若现，正像一只翩飞的绿蝴蝶，可爱至极。苏遁不由赞叹不已，如此小便已是美态难掩，大了还不一绝色古典美女？
小女孩近了看见室内还有一人，不由疑虑了一会，跑到父亲身边，扯着父亲的长袖，好奇的小声问道：“爹爹，他是何人？可是苏哥哥么？”李格非会心一笑，道：“正是苏哥哥。”又转头对苏遁道：“遁儿，这便是小女李淸照。”苏遁冲那小女孩一笑：“清妹好！你真可爱，就像一只漂亮的绿蝴蝶。”小女孩见苏遁笑得那么好看，又被他夸，心里欢喜，又有点害羞，不觉红了小脸，不过还是懂礼貌的回答道：“苏哥哥好！多谢苏哥哥夸赞。”说完藏在父亲长袖背后，凑近父亲耳边悄悄问：“爹爹，苏哥哥可是来了就住在这里么？”李格非被女儿天真可爱的言行惹的发笑，忙不迭的点头。“好耶！今后有人陪我玩儿喽！”小女孩兴奋起来，撒腿往内院跑，便跑便喊：“爹爹，我去告诉娘亲。”
李格非含笑望着女儿的背影消失，这才转过头来对苏遁说：“小女顽劣，倒让遁儿见笑了。”苏遁道：“清妹天真可爱，小孩心性，聪明伶俐，惹人爱怜。”李格非微笑点头，道：“遁儿以后把这里当成自己的家就是，你师娘也是极好相处之人。”苏遁道：“学生省得，多谢先生。”
此后几月，苏遁便在先生家住下，与先生之女李淸照一起读书学习。小姑娘年纪虽小，聪明异常，所学甚多，又极其好学，常与苏遁讨论不休。先生家藏书甚多，这便是苏遁打发时间最好的地方，因此倒也觉得时间过得挺快。苏遁雷打不动的锻炼身体与修炼“气功”，依旧进行，先生一家习惯了之后倒也不已为怪。闲暇时候，苏遁便常与李淸照在院内戏耍，兴致来了做些稀奇古怪的玩具给小姑娘玩，直把小姑娘逗得开心不已，苏哥哥前苏哥哥后的叫的可甜了。
不觉已过了两个月，这日正是十月初十，苏遁年满六周岁的日子。苏遁早上刚起床，便听得门房小张唤道：“少爷早！院外有一老和尚手持一齐眉禅杖，求见少爷。”苏遁想起幼时周岁那和尚，想起五年之约，轻轻道：“我这就去见他。”小张道：“是否要禀告李爷？少爷一人外出恐有危险。”苏遁感激的看一眼小张道：“多谢张哥，无妨的。”说罢迈步走向院门。
和尚何人？求见苏遁所为何事？苏遁单独出门相见可有危险？欲知后事，请看下文。