盛宣怀年轻的时候虽然没有中举，且一生忙于发展中国的实业，但是他却十分勤奋好学，手不释卷，与图书有一种特殊的情缘。

　　早年盛宣怀曾协助他父亲盛康编辑《皇朝经世文续编》一书。在参与编辑的过程中，他发现常州的藏书家有刊刻家乡先贤文献的传统。他在进入李鸿章幕府之后，仍不忘组织人员编刻《常州先哲遗书》。先后历时4年，耗费白银4800余两，从校勘到钞校到刻字全由名家负责。该书刊刻极精雅，堪称近代郡邑丛书极品。
　　盛宣怀年轻时在苏州与顾文彬父子合开典当的时候，就闻知顾氏居住的铁瓶巷内，有一座“过云楼”，藏有大量的古代书法名画、善本古籍等。顾氏家族示有家训：过云楼藏画可任人评阅，而家藏善本古籍不可轻易示人。故此过云楼藏书终年置于密室，秘而不宣，亦不许人登楼一观。这反而引起不少人的关注，自然也引起青年盛宣怀的兴趣，当然，他始终没有可能登上过云楼去翻阅过顾家的藏书。
　　清代，苏州藏书在全国是首屈一指的。清乾隆三十七年开“四库馆”，搜罗全国遗书。由两江总督、江苏巡抚、两淮盐院呈进的有四千六百六十六种，占第一位，而苏州地区又在其中占了很大的比重。
　　苏州藏书家对所藏的图书，大多经过整饬、修补和装潢，以至分类、编目和标签，有一定保管利用规则。他们大多精于校雠，所以往往皆有善本。许多藏书家还对藏书进行了批阅、提要、校勘和考证。盛宣怀对苏州的藏书家十分尊重与钦佩，对苏州的藏书楼也十分关注，并且很注意收购苏州藏书家的藏书。
　　1904年以后，盛宣怀由于宦途浮沉，加上丧子之痛，在治事之余，颇寄情于图书金石书画，亟以此道遣怀。他托人四处打听收购图书，数年中大有收获，包含苏州江标灵鹣阁的不少旧藏，以及常熟赵氏旧山楼等的藏书。
　　江标，亦被称为灵鹣阁江氏，字建霞，元和（今苏州）人，生于1859年，死于1899年，年仅四十岁。1889年取得进士，被任命为翰林院编修，做过湖南学政，是戊戌维新变法运动的重要人物。江标是版本目录学家，著有《宋元行格表》《黄荛圃年谱》《沅湘通艺录》等。清光绪年间江标汇辑经说、书画、目录、地志、传记、笔记等著作，以金石书为最多。此外，还有八种介绍西洋的政治、学术、风俗的书籍，被藏书界称为“新旧兼收”的丛书。江家的藏书十分丰富，死后唯留藏书十橱，后为盛宣怀所得。
　　赵宗建，清末藏书家，字次侯，一字次公，一作次山，号非昔居士，常熟人。他文采斐然，然而他与盛宣怀一样，数次考试均未中，以太常博士就试于京兆，独居野寺，不与人来往。他居于北山之麓，造园林，建藏书楼名“旧山楼”。赵宗建广购博收，他的藏书日益繁富。其藏书大多为抄校稿本、仿宋刊本、明刊本、汲古阁本殿本及清代精刻本，文献价值极高，有大量稀有版本，如司马光写《资治通鉴》草稿、朱子写《大学章句》草稿、徐霞客的手书游记底稿、钱曾手写的藏书目录、钱谦益日记、信稿、红豆山庄杂记、手笔以及大量的宋元珍籍、名人日记、信札等等。赵宗建去世后，藏书多被盛宣怀等人购得。
　　盛宣怀收集藏书有三个鲜明的特点：一是主张藏书要古今兼收，中外并蓄；二是主张藏书要注重实用；三是主张藏书要向社会开放。这些于今仍有借鉴意义。他从办实业、办教育的实践过程中体会到，自己不必像苏州藏书家那样去建一座藏书楼，而应该去建一座图书馆。
　　1906年，盛宣怀考虑到上海作为当时全国第一大城市，没有一所公共图书馆，与上海大都市的地位不相符。于是与时任两江总督的端方相约在上海合建“淞滨金石图书院”，将各自所藏的图书公布天下。为此盛宣怀特刻就一方“贻之子孙不如公诸同好”的印章。后因端方对盛宣怀的几度催促践约都没有下文，盛只好自行其志，继续他的步伐。
　　1908年盛宣怀东渡日本就医，他将考察日本图书馆作为重要目标，先后参观了帝国图书馆和日本私立大桥图书馆。他在《东游日记》中写道：“帝国图书馆，大楼二层，规模很大。藏书楼共八层，每层高仅七尺，书架称是便于取携，每日看书者约七、八百人。据接待员云：‘所藏宋板及钞本不少，惟不付阅。’其阅览室分特别、寻常、妇女三处，入阅须先购券，特别券纳资五十钱，寻常三十，卷轴浩繁不可细观。购取其书目一部，并留题游日以志鸿雪。”
　　1910年盛宣怀在上海住所的东面，拨出六亩五分地建造中国首家私人公共图书馆——“愚斋”图书馆，亲自规划与布置场馆的建筑与庭园，工程由通和洋行承办。有意思的是，为了建造图书馆竟专门聘请了苏州同里风水先生叶嘉棣为建造图书馆诹吉。仅用了半年的时间，图书馆就落成了。
　　图书馆分普通看书处、特别看书处、女客看书处、售票处、办事处。阅览区域为二层楼，藏书区域为四层楼。另筑图书马路，与住所隔开。工程验收后仍由通和照看，以应付各处洋人前来参观。清朝末代皇帝溥仪赏赐“惠周多士”的匾额。
　　将收购的数十万卷古旧图书有序编目不是一件轻易的事，此项“工程”由首任上海图书馆总纂罗榘主持。罗去世后，盛宣怀延请名家缪荃孙继任总纂。缪编的《愚斋图书馆藏书目录》有两种：一是《愚斋藏书目录》31册，一是《盛氏图书馆善本书目》1册。
　　盛宣怀藏书迁入新建成的馆址后，于1913年着手筹备图书馆对外开放，这成了盛宣怀对文化事业最后的活动了。尽管由于后来的波折，图书馆没有向市民开放。但他的这种文化意识，对文化公益事业尽力之精神，是永远值得后人称道的。