中国农业银行的发展大致经历了五个阶段。

第一阶段(1951年—1952年)：

新中国成立后，为了加强农村金融工作，促进土地改革后农村以发展生产为中心任务的实现，经政务院批准，于1951年8月正式成立了中国农业合作银行。其任务是按照国家计划办理农业的财政拨款和一年以上的农业长期贷款，扶持农村信用合作的发展。农业合作银行成立后，对所赋予的财政拨款和长期贷款业务基本上没有开展，1952年由于精简机构而撤销。

第二阶段(1955年—1957年)：

为了贯彻国家关于增加对农业合作化信贷支援的要求，根据当时农业生产发展情况和参照苏联做法，经国务院批准，1955年3月成立中国农业银行。其任务主要是办理财政支农拨款和农业长期贷款与短期贷款，贷款对象主要限于生产合作组织和个体农民，贷款用途限于农业生产，其他农村金融业务仍由人民银行办理。1957年4月，国务院决定将中国农业银行与中国人民银行合并。

第三阶段(1963年—1965年)：

1963年在贯彻国民经济“调整、巩固、充实、提高”方针中，国家采取加强农业的措施，增加对农业的资金支援。为了加强对国家支农资金的统一治理和农村各项资金的统筹安排，防止发生浪费资金和挪用资金的现象，1963年11月，全国人民代表大会常务委员会通过决议，批准建立中国农业银行，作为国务院的直属机构，根据中共中心和国务院关于建立中国农业银行的决定，这次农业银行机构的建立，从中心到省、地、县，一直设到基层营业所。但是，在精简机构的形势下，经国家批准，1965年11月，中国农业银行和中国人民银行再次合并。

第四阶段(1979年—1994年)：

1978年12月，中共十一届三中全会通过的《中共中心关于加快农业发展若干问题的决定(草案)》中明确提出“恢复中国农业银行，大力发展农村信贷事业。”1979年2月，国务院发出《关于恢复中国农业银行的通知》，决定正式恢复中国农业银行，恢复后的中国农业银行是国务院的直属机构，由中国人民银行监管。农业银行的主要任务是，统一治理支农资金，集中办理农村信贷，领导农村信用合作社，发展农村金融事业。 第五阶段(从1994年4月起)：

1993年12月国务院作出了《关于金融体制改革的决定》，要求通过改革逐步建立在中国人民银行统一监督和治理下，中国农业发展银行、中国农业银行和农村合作金融组织密切配合、协调发展的农村金融体系。按照中国人民银行的安排部署，1994年4月中国农业发展银行从中国农业银行分设成立，粮棉油收购资金供给与治理等政策性业务与农业银行分离，农业银行开始按照1995年颁布实施的《中华人民共和国商业银行法》，逐步探索现代商业银行的运营机制。1996年8月，国务院又作出《关于农村金融体制改革的决定》，要求建立和完善以合作经营为基础，商业性金融、政策性经营分工协作的农村金融体系。农业银行认真贯彻执行《决定》的有关精神，在矛盾多、时间紧、压力大的情况下，统一思想，顾全大局，积极支持农业发展银行省级以下分支机构的设立和农村信用社与农业银行脱离行政隶属关系的改革。1997年，农业银行基本完成了作为国家专业银行“一身三任”的历史使命，开始进入了真正向国有商业银行转化的新的历史时期。