上海是闻名世界的国际文化大都会，地方志是优秀民族文化的重要组成部分，建设上海通志馆是为了发展和繁荣上海地方志事业，弘扬我国优秀文化传统，扩大上海在海内外的影响。

早在20世纪30年代，著名学者柳亚子先生就在上海筹措建立上海通志馆，后因淞沪战争爆发而未果。

新中国建立后，党和国家重视地方志编纂工作，全国开展了新一轮社会主义新方志的编纂。20世纪80年代，全国出现“盛世修志”新局面，一些地方在开始筹备并建立起通志馆。上海人民政府于1987年建立了上海市地方志编纂委员会，开展地方志编纂工作，经过几年的努力，全市修志工作已出现了一个新局面。鉴于当时上海还没有编纂地方志、收藏各类志书年鉴等文献资料以及开展地方史志文化交流的场所，筹建上海通志馆成为当务之急。在市委宣传部和有关部门的重视支持下，1992年12月，上海市地方志办公室正式向上海市计委提出了《关于申请建立上海通志馆的报告》，1993年2月，上海市计委批准了《上海通志馆项目建议书》，同意在上海浦东新区建造上海通志馆。