小林虎三郎は、長岡藩士・小林又兵衛の三男として生まれる。
生後すぐに疱瘡を患い、左目を失う。
２３歳のとき、藩主から江戸遊学を命じられ、佐久間象山の塾に入塾。
同胞に勝海舟や坂本竜馬、吉田松蔭らがいた。佐久間象山の塾で小林虎三郎は「兵学」や「蘭学」「砲術」「西洋事情」「象山開国論」を学ぶ。
塾では、長州藩士の吉田寅次郎（後の吉田松陰）と「象門の二虎」と並び称せられた。
象山は小林虎三郎のことを「天下、国の政治を行う者は、吉田であるが、わが子を託して教育してもらう者は小林のみである」と公言、小林虎三郎の力量を高く評価していた。
江戸から長岡藩に帰ってからは、１８６８年（明治元年）に大参事に抜擢される。
３年後の１８７１年（明治４年）、小林虎三郎は自らを「病翁」と改名。当時、リウマチや腎臓病、肝臓病などいろいろな病気に苛まれていたからである。
明治新政府の方針で、廃藩置県が行われた後も、小林虎三郎は政治改革へ熱心に取り組み、郡の役所に対して、教育行政を中心にいろいろな陳情や嘆願を繰り返したが、郡の役所からは逆に「病弱なのだから静養せよ」と命じられる始末。
１８７７年（明治１０年）、湯治に出向いた伊香保温泉で熱病にかかり、同年８月２４日、東京府東京市内の弟・小林雄七郎の家でこの世を去った。享年５０歳。