隋唐末年，隋文帝次子杨广欲谋篡位，把朝内重臣视为眼中钉。李渊为了避难，准备携全家离京返乡。途中，李渊遭到杨广收买的杀手宇文成都的袭击，危难中正巧碰到押送囚徒的秦琼。秦琼击退宇文成都，救出李渊后，得知杀手是杨广派出的，又怕多事，不辞而别。为了报答秦琼的救命之恩，李渊为秦琼立庙以示纪念。(数年后，秦琼正是知道了李渊是这样知恩图报，才毅然追随。)

秦琼把犯人送到潞州后，因欠下房钱，又患重病，被迫卖出自己的金刚锏时，遇到了绿林好汉单信雄。他一直敬重秦琼的为人和武艺，便厚赠银两。秦琼在回家的途中因被错认为是响马，打斗中，失手打死捕快获罪（其实是那捕快是自己一不小心撞到同僚的刀口上），被当地官府发配燕山，之后他又因为罗成父亲的关系，去山东节度使唐璧处当旗牌官。