哈尔滨市图书馆创建于1926年6月，时称哈尔滨市立图书馆，1946年4月28日哈尔滨解放，市立图书馆由民主政府接管，1949年市立图书馆由哈尔滨迁至沈阳，所遗一曼街旧址及部分中、日文图书一并交市教育局接管。在此基础上，经过一年多的筹备，哈尔滨市图书馆于
截至2008年底馆藏图书261万册（件），其中日俄文资料和地方文献具有特色，计2万余册。另外，古籍图书相当丰富，有6600余种，计13万多册，经、史、子、集、丛各类兼备。其中经部的丛书、小学类的字书，史部的目录、金石，子部的篆刻、碑拓和小说，在数量和种类上都较具规模。版本类型和装祯形式较为丰富，宋、元、明、清各时期有代表性的珍贵刻本均有收藏。
哈尔滨市图书馆始终坚持“读者至上，服务第一”宗旨，突出“公益性”，全年365天开放。馆内设有图书外借处、中文社科图书、中文科技图书、中外文期刊、普通报刊、科学文献检索、地方文献、古籍、工具书、自修等十九个对外服务窗口，阅览座位1067个。开展预购图书、期刊外借、预约借书、续借、文献需求委托服务，为老年和残疾读者免费送书服务，开辟新书专栏和书刊专架等，最大限度地满足读者需求，年均接待读者近百万人次。
随着数字化网络化建设发展，图书馆不断拓宽服务范围，更新服务模式，提高深层次服务质量。引进、自建了多个数据库，为读者提供数据检索、在线阅读、参考咨询等服务。根据读者需求，建设信息推送服务系统，实现网络咨询服务、开展个性化定题服务和互动式服务，在重点领域实行学科馆员服务制度。充分发挥“全国文化信息资源共享工程哈尔滨基层分中心”作用，长期开展共享工程下基层工作。
2004年市图书馆建立了视障读者阅览室，现有盲文图书148种202册，盲文杂志6种，磁带、CD和MP3光碟等117种242件，龙源期刊网有声读物数据库，设有6个阅览室座席，同时配备了电脑、盲文阅读软件、盲文点显器和视频放大器，方便视障读者利用，同时举办“名家名剧赏析会”、“心目影院”等丰富多彩的盲人读者活动。
2006年创办了“哈尔滨讲坛”，这是一个面向广大市民的公益性文化讲座，以市图书馆为主阵地，同时深入基层开展流动讲座。
1987年建成至今的汽车图书馆，服务面已遍及哈市城乡各个角落，形成了以大馆为中心，以汽车馆为纽带的辐射状服务网络。哈尔滨市图书馆的社会办学工作也卓有成效 ，为社会培养了大量的有用人才。
为使百姓能够方便阅读、公平阅读，让公共文化成果普惠于民，2006年市图书馆结合市情馆情，探索构建公共图书馆服务体系的新模式，提出并实施总分馆建设，即以哈尔滨市图书馆为总馆，在松北、群力、哈西等远离总馆又没有图书馆的新城区逐步建设区域中心分馆，在有条件的情况下分阶段整合区馆，在人口密集的街区建立若干规范的社区分馆，形成布局合理、方便读者利用、具有哈尔滨特色的图书馆三级网络服务体系。在统一的网络平台下，总分馆资源共享，还可以A馆借书B馆还书，分馆借书总馆还书，总分馆之间实现了完全意义的通借通还服务。目前，已整合区馆2所，建立同一标准的社区和基层分馆38个，分馆总数已达40个。
现在，哈尔滨市图书馆已成为一个集文献收藏、信息咨询、社会教育、学术研究于一体的大型综合性公共图书馆，在文化部公共图书馆评估中，两次荣获“国家一级图书馆”称号，获得了全国文化工作先进集体、读者喜爱的图书馆和市政府第28届、第32届劳模先进集体、省级精神文明单位等多项荣誉。