1953年初，开始筹备中央计量检定所，将中华人民共和国第一机械工业部(以下简称“一机部”)中央计量检定所大楼选址到现位于北京市朝阳区北三环东路18号的“中国计量科学研究院恒温楼”。

1954年11月，全国人大常委会第二次会议讨论批准《关于国务院设立直属机构的议案》，其中包括提议成立国家计量局。

1955年1月，国家计量局正式成立。

1958年，国务院批准一机部工具科学研究院的计量部分并入国家计量局。同年，经全国人大常委会批准，将国务院直属的国家计量局改名为国家科学技术委员会计量局，由国家科委直属领导，对外仍用国家计量局。

1960年，国家计量局成立委托处，筹建放射性、光学、声学和时间频率等实验室和热量、振动两个研究组。同年，经国家科委批准，将国家测绘局武汉测绘院的基线实验室并入国家计量局。

1963年，经国务院批准，将国防科委10院15所的无线电计量室划归国家计量局。

1965年，国家科委批准调整国家计量局的机构，将计量科研、检定和计量行政监督管理、立法等工作分开，成立中国计量科学研究院，负责计量基标准研究、建立和量值传递工作。

1970年，中国计量科学研究院四川分院成立，后发展为中国测试技术研究院。

1978年，国务院批准中国计量科学研究院归国家技术监督局直属领导。

1989年，国家标准物质研究中心成立。

1998年，国家发展计划委员会批复了中国计量科学研究院昌平院区项目建议书，昌平院区正式开始筹建。

2001年，国务院机构改革成立国家质量监督检验检疫总局(以下简称“国家质检总局”)。中国计量科学研究院成为国家质检总局直属单位之一。

2005年，国家质检总局批复，同意中国计量科学研究院的科技体制改革实施方案，由中国计量科学研究院、国家标准物质研究中心、中国计量科学研究院基准器具工艺研究所合并组建新的中国计量科学研究院。

2009年，中国计量科学研究院昌平院区正式启用。

2011年，中央机构编制委员会办公室批准中国计量科学研究院成立国家时间频率计量中心。