因为王连一直与杨丽华同车而行，也无法先走，只能跟着圣驾大部队，沿着原路返回。
隋炀帝依旧每晚住在观风行殿，每次布置都要花费一个时辰，回程速度非常缓慢，有时，隋炀帝干脆停下来，面对沙漠，写上几首充满豪情的诗。
九月，队伍行至大斗拔谷，山势险恶，两旁都是悬崖，只有一条小路可以通行。
黄昏时分，残阳如血，被一层灰色的暮霭所笼罩，隋炀帝安排扎下营寨休息，同行的裴矩上前建议道：“陛下，老臣久在西域，谷内并非安稳之地，还是继续向前，待进入平原再行休整。”
“世矩怎变得如此谨慎，西域各国均已臣服，又得厚赏，岂敢再行作乱。”隋炀帝道。
“臣所担忧者，并非贼寇偷袭，而是天气多变，不可不防。”裴矩道。
“朕一路西巡，并无风沙侵扰，上天也要给朕几分薄面。”隋炀帝不答应，还是吩咐人设下观风行殿，原地休息，且待明日一鼓作气，走出大斗拨谷。
圣命不可违，士兵们扎下营帐，并且点起一堆堆的篝火，隋炀帝兴致很高，又让随行的歌舞团进行了一场表演，直到深夜才休息。
后半夜，一股寒风吹进王连的帐篷里，将他给冻醒了，竟然再无睡意。
王连穿上衣服起来，走出大帐，却见守卫的士兵们都抱着长枪，瑟瑟发抖地缩成一团，空气中透着彻骨的寒意。
风势不大，似有似无，抬头看去，天空一颗星辰也没有，漆黑无比，好像乌云就在头顶，给人一种沉闷的压抑感。
这时，王连的心脏突然一阵剧烈跳动，一种不祥之感升腾而起，他急忙来到观风行殿，对着外面的侍卫道：“快去喊陛下，会出现恶劣天气，我们必须马上走。”
“陛下刚睡下了！”侍卫不敢打扰，惹得龙颜大怒，小命难保。
“闪开，我去找陛下。”王连道。
侍卫不肯放行，王连立刻取出免死令牌在他们眼前晃了下，侍卫这才让开，由着王连进入观风行殿。
“王大人，不可搅扰陛下休息。”两名宦官迎上了，死死挡住了去路。
“滚一边去！”
王连推开一名宦官，另外一名还在拼命阻拦，却被王连飞起一脚，踢在身上，捂着胸口摔到一边，见拦不住王连，便踉踉跄跄跑出去叫人护驾。
王连向内跑了一大截，这才看见隋炀帝，正躺在龙榻上，身边还有个未曾熄灭的火炉。
隋炀帝很机敏，听到脚步声，猛然坐了起来，随手在枕头下方抽出一柄雪亮的长剑，一看是王连，两道英眉扭在一起，沉声道：“王连，意欲何为？”
“陛下，天气大变，我们必须马上走，否则，会出大问题的。”王连道。
“休要危言耸听。”
“我说的都是实情，也是为陛下着想，所以才冒死前来。”
隋炀帝沉默了一下，终于点头道：“也罢，朕便听你一次，立刻拔营启程。”
“我去喊公主起来。”王连转身走了出去。