播磨に生まれ、蘭学と兵学を修めた学者出身の幕臣。西洋兵学に通じてフランス式歩兵の訓練を受けた伝習隊を率い、幕府陸軍歩兵頭を務めた。戊辰戦争では新政府軍に抗して江戸を脱し、宇都宮・会津と転戦、榎本武揚らとともに蝦夷地へ渡って箱館戦争を戦い抜いた。降伏後に投獄されたが、その才を惜しまれて赦免され、維新後は明治政府に出仕。学習院院長を務めたほか、駐清公使・駐朝鮮公使として外交にも当たり、日清戦争前夜の難局に臨んだ。