最早的“河图”或是玉器类的宝物，并不是什么上古的智慧书。在《尚书·顾命篇》中说：“越玉五重，陈宝、赤刀、大训、弘壁、琬琰，在西序。大玉、夷玉、天球、河图，在东序。”这里或是在说什么古董玉器之类的，“河图”具体是什么东西，不是很明确，但是跟这些器物一类大体是没错的。
在《论语·子罕》中孔子叹道：“凤鸟不至，河不出《图》，吾已失夫！”此处说得似乎是一种祥瑞征兆，如同“凤鸣岐山”这种征兆一样，说的是：凤鸟在岐山鸣叫，暗示的是文王之德行得到了凤鸟的肯定，是周室大型的吉兆。凤凰，均是祥鸟，雄曰凤，雌曰凰。此处的“河不出图”当是类似的一种政治，或许与灵龟有联系。
在《吕氏春秋·应同篇》中，又提到另外一种祥瑞：“凡帝王之将兴业，天必先见祥乎于下民。……及文王之时，天先见火，赤鸟衔丹书集于周社。”河图与丹书本身是两种互不相干的东西，一种大约是由河而出，一种则是由赤鸟所衔。
在《淮南子》中将这两种事物，并列的整合到了一起：“古者至德之世，贾便其肆，农乐其业，大夫安其职，而处士修其道；当此之时……洛出丹书，河出绿图”。洛对河，丹对绿，书对图，一副很妙的巧对。
稍晚的司马迁显然是受到这总信息的干扰，在《史记·孔子世家》中对《论语》做了变更引用：“河不出《图》，洛不出《书》，吾已矣夫！”从此《河图》《洛书》之间便有了密不可分的联系。即便如此，这里的图河书，所表达的含义仍旧是象征政治统治得到某种认可的祥瑞而已，至于具体图和书是什么，有什么功用？或者是上古那位圣人使用过，还没有系统的编排出来。
在《易·系辞传》里，《河图》《洛书》开始跟圣人之间有了联系：“河出《图》，洛出《书》，圣人则之。”这位圣人是谁？他们推出来传说中的伏羲，在画卦的时候，取象于《河图》《洛书》。虽然汉人不知，图书究竟为何物，但是地位却是越来越被推崇了。“一画开天”是何等功业？与传说中盘古开天的功劳不相上下，前者是开启万民之智慧，后者是开启上天下地的新篇章。自古开辟为第一大业，盘古结束的是上古世界得到混沌，伏羲结束的是上古先民思想的混沌。
然而编排历史的工作还未就此结束，在《礼纬·含文嘉》中说：“伏羲德洽上下，天应以鸟兽文章，地应以《河图》《洛书》”。见《周易正义·叙论》引。伏羲得到河图洛书，有一经一纬来证明，似乎已经很可信了，但是没有史书的证明，似乎总觉得少点什么。
于是《汉书·五行志》中载：“刘歆以为宓戏氏（伏羲）继天而王，受《河图》则而画之，《八卦》是也。禹治洪水，赐《洛书》法而陈之，《洪范》是也。”由是《河图》《洛书》有了具体学问上的指向，与《经纬》两书相抵牾之处在于，他把《洛书》分派给了大禹。经过刘歆的编订，河图属于易学，是八卦的起源；洛书属于阴阳五行学，是五行的起源。就这么愉快地确定了，反正在当时也没什么资料可以查找。
两汉谶纬学盛行，随之而来的就是《纬》大火，关于《河图》的纬书有《河图括地象》《河图开始图》等三十七种；关于《洛书》的纬书有《洛书甄曜度》《洛书灵准听》等九种，又有《老子河洛谶》《孔子河洛谶》各一，凡河洛类占全部纬书四分之一。
在谶纬学风行的氛围下，似乎祭祀泰山已经没那么重要了，凡新天子，或将要成为天子，一定要到洛河、黄河进行举行受图书礼，这是一种受命于天的具体仪式，一些列参拜礼仪结束后，天子会捧回一个小匣子，里面是传说中的《河图》《洛书》。在东汉人的观念中，这两本书是有字的，而非无字天书，并且字还不少。《续汉书·祭祀志》中引用张纯《泰山刻石》文曰：“……皇帝唯慎《河图》《洛书》之正文。”
综述：由早期的史料可知，“洛书”是由“丹书”讹传而来的，河图最早是一种宝物、一种祥瑞。在历史的长河中逐步被赋予新的价值，其地位也随着不断注入内容的丰富而显著提升。在王莽的新朝《河图》成了《八卦》的起源，《洛书》成了《洪范九畴》的来源，虽说几则史料互有抵牾，在当时也没有引发讨论。在其后的七八百年之间，人们对河、洛的见识总体上还是遵循这一时期的奠基。直到宋代无字天书版的河洛被发明，重新引起了学人的重视和讨论，因篇幅之故，我们分篇探讨。
古史辨派：“疑古”的意义何在？
古史辨派：“疑古”的目的何在？
古人对《河图》《洛书》的质疑和辨伪