張伯苓相繼創辦了南開中學、南開大學、南開女中、南開小學，其經費來源主要靠社會募捐，由此他得了個“化緣和尚”的綽號。張伯苓把募捐到的資金登記造冊，賬目完全透明化、公開化。他堅持把錢花在刀刃上，絕不允許有絲毫的浪費，更不允許落入私人腰包。他的生活始終樸實無華，過著布衣素食的生活。

張伯苓深信儉可養廉的道理，婚后他曾對夫人說：“教育是清苦事業，所入無多，家中事悉以累汝。”為了支持張伯苓創辦教育事業，夫人一個人料理一切家務事，張伯苓則一心撲在教育上。為了節約經費，他出行很少坐車，無論是上下班，還是去市里開會，他都一路步行。于是，有人送給他一個雅號“11號車”。

張伯苓去北京出差，永遠坐三等車廂，每次都住在一家一天一元錢、管吃管住的小店。老舍和曹禺稱張伯苓是一個“不吸煙，不喝酒，一輩子也不摸麻將和牌九”的人。不過，張伯苓開始是吸煙的，后來只是為學生做榜樣才戒掉的。有一次，張伯苓在校園里發現了一個抽煙的學生，就教育學生說，吸煙有害健康，要把煙戒掉，以后不要再吸了。誰料，學生卻振振有詞地對張伯苓說：“校長，您不是也在吸煙嗎？如果您能把煙戒掉，以后我就不吸了。”就這樣，學生一句調侃的話，張伯苓卻認真對待，從此他真的把煙戒掉了。他戒煙的消息傳開，使每一個學生敬佩不已。

張伯苓名滿中國時，依然居住在平民區的簡陋住宅里。一次，少帥張學良慕名來訪，汽車跑了好幾趟，才終于找到了“校長公寓”。事后，張學良對記者驚嘆道：“偌大大學校長居此陋室，他的樸實令人敬佩！”