虚谷的人物画由于被其花鸟画与山水画的艺术成就所掩盖，故学术界关注得比较少。其人物画绝大部分是肖像画，具有较强的现实性。虚谷继承了明代波臣派以及浙派人物画“轻勾淡写”的艺术技法与风格，又能化为己用，最终呈现出简练朴实、平淡清雅的艺术风格。
△虚谷《餐英主人肖像》
虚谷人物画实不多见，但清新隽秀，自成一家。现存最早虚谷肖像画作品是与任伯年在1870年合作之《泳之五十岁肖像》，虚谷画泳之面部，任伯年画衣冠并补景。就功力而言，虚谷显然是一位造诣颇深的写真名家。张呜珂评虚谷所绘肖像时曾言“声誉极重”，又提及他出家以前在清军任职时“尝为曾文正公写照”一事，可知虚谷画肖像颇有名望，也证明了虚谷对于绘事早有专攻，并非出家为僧后才开始。
△虚谷人物画《餐英主人肖像》局部 1
虚谷的肖像画正是受到禹之鼎、罗聘影响，与明清之际著名肖像画家曾鲸及其波臣派一脉相承。波臣派肖像画在清朝初中期颇为风行，禹之鼎、徐璋等皆师其法，影响甚广。
△虚谷人物画《餐英主人肖像》局部 2
此幅《餐英主人肖像》是虚谷为友人而作，画中绘书房小窗一隅，人物立于书案一侧，面容安详，身旁有一书童正持书而来，窗外芭蕉遮荫，丛菊竞艳。从花卉风格看，是虚谷晚年作品。人物面部刻画注重墨骨，更强调传达人物内心感情。其眉眼传神，双眸明亮，面部以浅赭勾出轮廓，极有笔致。衣纹则细笔与粗笔兼用，简练流畅。此作最大特点是将人物置于特定场景中，轩窗一隅，书案一张，几丛芭蕉，蕃篱下几株秋菊，设色清雅，极有文人情致。芭蕉在雨声中极富音乐感与诗意，藩篱秋菊令人想起陶潜，烘托出人物性格特征。