化石的英文名为“fos-sil”,来源于拉丁词“fossilis”,是从动词“fodere"变来的，有挖出、掘出之义。早在远古时期，希腊的希波利图斯曾引用色诺芬尼的论著，认为在距岸很远的山上发现的海生动物遗迹是当时动物陷入泥中留下，后来凝固下来的。同时,在中国写于春秋之末或战国初期（约公元前 5世纪）的《山海经》中就有关于龙骨的记载。在此后的一段时间里，把龙骨看成与蛇蜕相似的龙蜕，把骨化石与传说中的生物联系了起来。至公元11世纪宋的苏颂在《图经本草》中，明确指出龙骨并不是龙蜕，而是龙死后的遗体的骨、角、齿等硬的部分。
在这一时期中国的著作中关于硅化木及其他化石的记载已屡见不鲜。从这些记述中可以明显看出,一些中国学者已经把这些化石与现代生物相比较，而且试图用来推断古气候了。不过他们对于化石的形成还不很清楚。这一时期对化石的认识应以沈括为代表。《梦溪笔谈》卷21第17则:“近岁延州……土下得竹笋……悉化为石。……延素无竹,此……不知何代物。无乃旷古以前,地卑气湿而宜竹邪?婺州金华山……核桃、芦根、鱼、蟹之类,皆有成石者……。”再如同卷第11则有:“遵太行而北,山崖之间，往往衔螺蚌壳及石子如鸟卵者，横亘石壁如带。此乃昔之海滨，今东距海已近千里。”沈括的记载与化石密切相关，以现代古生物学观点分析，可以看出：其一，太行山崖间的螺蚌壳，显系古生代地层中的腕足动物或软体动物化石。其二，浙江婺州金华属地即今之浙江省中偏西部地区，该地中生代地层中发现了多种植物和鱼、虾化石。至于第三点,经中国古生物学家考释,可能是一种已绝灭的节蕨类化石──新芦木。类似记载在这一时期的其他书籍中亦常可见到，如颜真卿的《麻姑仙坛记》记有“高石中犹有螺蚌壳，或以为桑田所变”。朱熹说：“尝见高山有螺蚌壳，或生石中。此石即旧日之土，螺蚌即水中之物。”再如从汉晋到唐宋期间，多次记载了湖南湘乡的鱼化石等。同时，龙骨、龙齿、石燕、石蟹、石蛇（可能是腹足类化石）等一直作为药用。蝙蝠石、直角石、鱼化石等作为装饰品一直被利用着。
在欧洲，列奥纳多·达·芬奇于1508年首先提出化石是曾经活着的动植物的遗体。与其同时代的一些科学家将“fossil”用于泛指石头、矿物、器物等各种采集品，当然，其中包括着真正的化石。如德国医生G.鲍尔着眼于这些化石为什么是石质的，以及注意它们有无药用价值。瑞士医生兼博物学家C.格斯纳虽将化石与现代生物对比，但基于当时生物学知识水平而受到一定限制。此外，意大利医生、地质学家G.弗拉卡斯托罗和法国作家、制陶师B.帕利西都曾发现过双壳类、腹足类和鱼骨的化石。
丹麦地质学家和解剖学家N.斯泰诺基于他对诸多地质现象的详细观察于1667年写出了有关“舌形石”（即鲨鱼牙齿化石）的文章（未出版）。斯泰诺提出化石是古代有机体的遗骸，细心研究化石有可能解释各种地质事件编年史的看法。关于化石的一个著名的插曲也发生在这个时期，作为狂热宗教徒的自然科学家J.J.朔伊希策将1726年瑞士埃宁根中新世湖相沉积褐煤层中的蝾螈化石视为《圣经》中大洪水时期有罪的俗人的遗骸，订名为 Homo diluvii testis(洪水证人)。这一错误直到1811年才由G.居维叶予以纠正。在其1812年出版的4卷本巨著的第四卷第十五篇论文中指出这一化石不是“人”而是一种盲螈 (Proteus)。直到1837年才由另外学者正式订名为朔氏大蝾螈。
在欧洲，自W.史密斯、C.莱尔，尤其是C.R.达尔文以后，对于化石的认识逐渐深入而达到作为现代科学的古生物学的研究水平。
在中国，由于长期的封建小农经济和以尊孔读经为主导的科举制度等诸多因素的影响而使古代科学技术的萌芽逐渐泯灭。对于化石的再认识也是19世纪中叶以后，作为现代科学的一部分由西欧传入中国，或由西欧经日本再传入中国的。