为了更多地掌握甲骨文的第一手材料，当他发现并确定甲骨文的出土地是在河南安阳小屯（商代晚期都城）附近后，便立即派其弟罗振常去收集甲骨，后来又亲自前往安阳实地考察，先后搜集到近二万片甲骨。不仅收集甲骨，还收集了一批不为古董商重视的出土物，他以“古卜用龟，辅以兽骨”的文献记载为出发，认为在搜集甲骨时必须龟、骨“兼收并蓄”。
在占有大量资料的前提下，罗振玉先后编订出版了《殷墟书契前篇》、《殷墟书契后篇》、《殷墟书契菁华》、《铁云藏龟之馀》等，并撰写了《殷商贞卜文字考》、《殷墟书契考释》等划时代的著作，奠定了甲骨文研究的学科基础。甲骨文研究者中，罗振玉占有重要地位，为鼎鼎大名的“甲骨四堂”之首。（甲骨四堂是指中国近代四位研究甲骨文的著名学者：罗振玉（号雪堂）、王国维（号观堂）、郭沫若（字鼎堂）、董作宾（字彦堂））
罗振玉藏 甲骨卜辞
罗振玉是自王懿荣、刘鹗之后收集时间最长而且所获最多的甲骨收藏家，但由于种种原因，他所藏甲骨已分散各处，陈梦家先生《殷墟卜辞综述》附录作了介绍：“罗氏所有甲骨，当他在..时，曾有一部分流散出去。其他大部分存在大连，也有售出的。今据所知，约略记其今存的部分如下：北京图书馆462片，山东文管会1309片，北京大学购自罗福颐200片，东方文化学院京都研究所128片，东京帝国大学15片，故宫博物院一小盒，东北博物馆菁华大骨之一，北京历史博物馆菁华大骨之一，考古研究所菁华大骨之二，又另一大骨。罗氏所印《前、后》、《菁》三书，大部分是他自己的甲骨，此三书共著录3400片，其中有二千多片是他自己的，大约皆在国内，至于经他售出的小片，因未曾著录，无从查考”。（见该书651页）
此外，罗振玉还是近代以甲骨文入书的开创者。
罗振玉书
两度抢救保护内阁大库档案
在保护文物方面，罗振玉出力最大的是保护内阁大库档案。
内阁大库位于故宫东华门内，存放着此前数代的档案书籍。1909年，罗振玉在学部任职时，一天，学部尚书荣庆请军机大臣张之洞吃饭，罗振玉作陪。罗振玉听说要焚毁档案，就请求将档案转移到学部，以便将来存放在图书馆中。张之洞同意后，派员办理，并让罗振玉协助。
罗振玉看到整理人员只将书籍拣选出来，其他公文奏折却准备焚毁，而公文奏折里面有很多重要的史料，于是请示张之洞，因为已经奏准焚毁，张之洞只能让罗振玉将这些史料秘密运回学部。
罗振玉藏 西周过伯簋
