本学会由北京大学、清华大学、中国科学技术大学、中国科学院电子学研究所、中国科学院自动化研究所、电子部华北计算所、北京第九研究所等单位我国最早一批从事图象图形科技工作者的多位专家学者发起。从八十年代初就开始筹组全国性的学术交流活动。1982年11月在广西桂林召开的第一届全国图象图形学学术会议期间正式成立中国图象学学会筹备委员会。其后，在筹委会的组织和领导下，分别于1984年10月在昆明；1986年4月在青岛；1988年12月在广州，共召开过四届全国图象图形学学术会议。在此基础上，1988年12月20日向民政部正式提出社团登记申请成立“中国图象图形学学会”。

1990年1月5日经民政部批准，中国图象图形学学会正式挂牌成立。同年12月19日在北京召开第一届全国会员代表大会，选举成立了第一届理事会，理事长常迵院士，副理事长符鸿源、蔡德孚、葛成辉、金东瀭、王新民、庄逢甘、侯自强，秘书长王宝兴。学会挂靠中国工程物理研究院北京第九研究所，业务主管为国防科工委。

1994年4月19日，在成都召开第二届全国会员代表大会，组成第二届理事会，理事长侯自强研究员，副理事长石青云、石教英、许鹤群、李叔梁、李德仁、金东瀚、徐冠华、符鸿源、葛成辉、游志胜、蔡德孚，秘书长王宝兴。学会挂靠在中国科学院计算所，业务主管为民政部。

1998年5月12日在西安召开了第三届全国会员代表大会，选举产生第三届理事会，潘云鹤院士当选理事长，徐冠华院士当选名誉理事长，副理事长戴威岭、高文、葛成辉、李德仁、李树祥、林宗坚、刘积仁、石教英、石青云、许鹤群、游志胜、赵荣椿，秘书长罗治安。学会挂靠在中国科学院自动化所，业务主管为民政部。2000年10月经中国科协五届书记第九十次会议研究同意，中国科协成为我学会业务主管单位。

2002年8月15日在合肥召开第四届全国会员代表大会，选举产生了第四届理事会，潘云鹤院士连任理事长，徐冠华院士连任名誉理事长，副理事长谭铁牛、韦穗、章毓晋、林宗坚、郑南宁、高文、李小文、李德仁、刘积仁、游志胜、石教英，秘书长罗治安。

2006年11月5日在南京举行的第五届全国会员代表大会上潘云鹤院士和徐冠华院士分别当选学会理事长和名誉理事长，副理事长谭铁牛、韦穗、章毓晋、王润生、余轮、查红彬、陈武凡、庄越挺，秘书长刘凯龙。

2011年8月11日在合肥召开第六届全国会员代表大会，选举产生第六届理事会，徐冠华院士当选理事长，潘云鹤院士当选名誉理事长，副理事长吴一戎、余轮、陈武凡、庄越挺、高文、周明全、丁国辉、杨红雨、潘志庚，秘书长刘凯龙。

2016年7月29日在北京召开第七届全国会员代表大会，选举产生第七届理事会，谭铁牛院士当选理事长，副理事长赖剑煌、卢汉清、潘志庚、汪国平、吴一戎、俞能海、赵忠明、章毓晋，秘书长马惠敏。

2020年12月5日在北京召开第八届全国会员代表大会，选举产生第八届理事会，王耀南院士当选理事长，副理事长邓中翰、赖剑煌、马惠敏、汪国平、王亮、王涌天、俞能海、张艳宁，秘书长马惠敏。


学会现址：北京市海淀区中关村东路95号东楼307、308