司马光在政治上是保守的，但在史学方面的成就是辉煌的。他主编的《资治通鉴》同西汉司马迁的《史记》是史学史上的两颗明珠，至今仍为世人所推崇。
  《资治通鉴》记载了上起战国周烈王、下至五代周世宗的1362年的历史，全书294卷，还有考异、目录各30卷。其规模之大，令人叹服。
    司马光为编定《资治通鉴》翻阅了大量的书籍资料。宋神宗允许他借阅"集贤"、"昭文"、"史馆"三大书库的所有书籍，并特许可借阅"龙图阁、天章阁及秘阁"的藏书。宋神宗还将自己私藏的二千四百余卷书献出来，供司马光参考。除此之外，司马光还参阅了大量的野史、谱录、正集、别集、墓志等资料，共222种，计三千多万字。
    司马光学风严谨，对自己要求很严格。他为自己规定，每三天修改一卷。一卷史稿四丈长，平均一天修改一丈多，若遇事耽误了，事后必须补上。每天晚上他总是让老仆人先睡，自己点上蜡烛工作到深夜，第二天凌晨又起身继续工作。天天如此，十九年如一日。夜里，他怕因困乏睡过了头，便让人用圆木做了个枕头，木枕光滑，稍稍一动，头即落枕，人便惊醒。后人称此枕为 "警枕"。

    司马光的住处，夏天闷热，无法工作，司马光便让人在屋子里挖一个大坑，砌成一间地下室。地下室冬暖夏凉，成了他编书的好地方。而当时的大官僚王宣徽每到夏天便到他名园的高楼上避暑享受， 人们笑说：“王家钻天、司马人地。”

    司马光修改过的书稿堆满了整整两间屋子。书法家黄庭坚曾看过其中的几百卷，发现这些书稿全部是用工笔楷书写成的， 没有一个草字。
    司马光曾问他的好友邵雍：“你看我是怎样一个人?”邵回答说：“君实，脚踏实地人也”。意思是说司马光研究学问，勤奋刻苦，踏实认真。这就是 "脚踏实地"成语的来源。
    司马光为编写《资治通鉴》用了19年时间，开始编写时，司马光48岁，编完时，已是66岁的老人了。这19年，司马光"秉烛至深夜，警枕破黎明，长期的伏案工作，耗尽了他的心血，刚过60岁，他使视力衰退，牙齿脱落，面容樵惮。《资治通鉴》写成后，还没等出版，司马光便与世长辞了。为了悼念这位伟大的史学家，皇帝宋哲宗亲自临丧，并下旨为他举行隆重的官葬。他家乡山西夏县的人们为纪念他，特为他建了墓碑亭，树起一块巨碑，这块巨碑连同底座高达九米，比帝王神道碑和墓碑还要高大。碑额刻有宋哲宗的御篆"忠清粹德之碑"字样，大文学家苏东坡为其撰写了碑文。