魏征归唐，不是出于他的主动选择，而是被动为之。李密兵败投降李渊，对于刚刚建立政权的唐来说意义重大，所以李密深受李渊的礼遇，官职、财富，李渊该给的都给了。作为李密的人，魏征自然也受到礼遇。
但礼遇不是重用。
降唐已经一段时间了，魏征没有受到什么指派，也没有什么任务，史书上说的明白：“久之未知名”。再傻的人也都知道，不能再这样下去了，否则他会慢慢地被边缘化、最终被淘汰。在新政权里，他必须做出点成绩来。于是，魏征“自请安辑山东”，主动向李渊提出由他去劝降李绩。
李绩是李密的旧部，魏征和他相识。李密兵败，但李绩仍旧控制瓦岗政权的大片领土，主要集中在山东一带。
李渊同意让魏征去“安辑山东”，被任命为秘书丞，赶赴黎阳。
此时的李绩正处在人生的十字路口。他该何去何从？他犹豫不决，正在徘徊，是和李密一样投降李渊呢？还是投靠王世充？还是自己独立干？
正在这个时候，李绩收到了魏征写给他的信。魏征在信中说，李密起兵时候，振臂一呼，聚众十万，约有半壁江山。可是却一败涂地，最终归降李唐。这是为什么呢？这是因为天命在唐。你现在占据着兵家必争之地，应该早作决定，“不早自图，则大势去矣！”。
魏征这封信的厉害之处在于将李密的失败归结为“天命”。他李密不是当皇帝的命，所以他败了。“固知神器之重，自有所归，不可以力争”，你现在归唐，是顺天应势；如果还有所犹豫，祸必速至。
“天命”是个很玄的词。孔子就说过“君子有三畏：畏天命，畏大人，畏圣人之言。”而且李唐的势力发展确实很快。在这种情况下，李绩听了魏征的劝告，投降了唐朝。按理来说，魏征劝降李绩成功，乃是有功之臣，朝廷应该给予封赏才是。但事实上，朝廷并没有把李绩投降的功劳算在魏征头上。李绩先派遣使者到长安，将献城的功劳都归给李密，然后又把囤积的粮草都押运到淮安王李神通军中。李绩的人马并入了李神通的军队。由此看来，李绩投降，最大的受益者是李密和李神通。魏征这个负责具体办事的人反倒没有落得丁点好处。
淮安王李神通并了李绩的军队后，实力得以加强。但仍旧抵挡不了骁勇的窦建德。窦建德大军攻打相州，李神通抵挡不住，率军转驻黎阳。窦建德丝毫没有放松，继续攻打黎阳。唐军抵挡不住，黎阳城破，李神通、李绩、魏征都成了俘虏。他们三个都受到窦建德的礼遇。但李神通和李绩都先后逃走，回到唐军中。而魏征则被窦建德任命为起居舍人。专门负责记录窦建德的日常行动，这让魏征无法抽身。
直到武德四年（621年）五月，李世民率领的唐军击败窦建德的军队，并生擒窦建德。此时魏征才得以再次入唐。太子李建成用任命魏征为太子洗马，很欣赏他，礼遇甚厚。
从魏征的这些经历可以看出，他是一个毫无军事才能的文人，他只适合做文职人员。这也可以解释为什么李世民破窦建德时不将他纳入到自己的麾下。因为李世民统军征战，更需要能够领兵战斗的武将、能够出谋划策的军师。李建成则不同，他居东宫，辅佐皇帝李渊处理政务，手头亟需文职人员，所以才会对魏征“礼遇甚厚”。