清光緒三年五月初四(1877年6月14日),張嘯林出生于浙江寧波府慈溪一個偏僻小村莊一張姓木匠家庭。排行老二,因長兄名叫大林,其父就隨便給他取了一個名字,叫作“小林”,乳名“阿虎”。年輕時候,張小林在杭州拱宸橋開了一家茶館。
1912年夏季的一天,中國海軍元老、時任海軍上將司令的薩鎮(zhèn)冰,一時興之所至,單身便服出游西湖,玩賞途中在一家飯館用餐,吃完飯才發(fā)覺身邊未帶錢款,乃向飯館老板商量,說待他回去即拿錢送來。老板執(zhí)意要他把身穿的紡綢長衫脫下抵押,薩老先生因此十分尷尬。恰巧張小林也在這家飯館吃飯,一時豪興,便出頭代他付了飯錢。
忽然有一天,茶館門前來了大隊人馬,威風(fēng)凜凜,指名要見張小林。張小林驚悸不已,自以為是作惡多端犯了事。不想一見之下,發(fā)覺為首的海軍上將竟是自己上次代付飯錢的老者。張小林不由喜出望外,連忙將薩鎮(zhèn)冰讓進(jìn)茶館。這樣一來,原為杭州混混的張小林名聲一下提高不少。
張嘯林從一個“杭州青皮”起步,后來竟被蔣介石封為“少將參議”,儼然流氓中的“修成正果”者。