1954年，张镜人接受上海市人民政府市长陈毅署名委任，担任市卫生局医疗预防处中医科副科长。他毅然关闭自己的私人诊所，放弃高薪收入，辞退保姆、司机，成为沪上中医界加入公共医疗机构第一人。此后，他历任上海市卫生局中医处副处长、副局长。

　　上世纪50年代是上海中医事业发展的黄金年代。他与中医巨匠陆渊雷、程门雪、章巨膺、丁济民、张赞臣等主持筹建了上海市中医学会、上海市卫生工作者协会、上海市首家公费医疗中医门诊部、上海市首家中医专科医院市第十一人民医院、全国首批中医高等学校上海中医学院，在全市综合性医院普遍设立起中医科室。从此，沪上中医走上普及、发展、提高的正常轨道。

　　当时，他终日奔忙于各大医院之间，为各医院开展中医业务而操劳。在那几年里，他门诊是看得少了一些，但宣传中医药学的文章却写了不少。他还积极组织开设中医学习班，对各大医院的中医师轮换进修培训。在党和政府的领导下，张镜人还与有关处室配合，制订规划，建立机构，引进了一大批中医人才。

　　在第一批中医带徒工作结束后，张镜人还牵头修订了《上海市中医师带徒暂行管理办法》，在固定师徒关系、临证口授的同时，改变过去分散带的方式，提倡个别带，集体教，要求各区县设立中医带徒班，由带教老师组成教研组，规定教学计划和课程，按各人所长，分工上课。这个办法既发扬了中医带徒的优良传统，又保证了教学质量，为中医师承教育改革开创了先河。

　　1982年退休后，他仍被上海市政府委任为市卫生局顾问，任中央保健委员会保健会诊专家，继续为上海中医药事业贡献才智。

　　五勤治学的内科大家

　　他重视临床实践，治学崇尚五勤；他治疗内科杂病，强调脾胃学说和活血化瘀法的应用；他不为西医病名所限，同时主张借助微观检测手段，为我所用。