1934年7月，许居衍出生于福建省闽侯县。1953年，他考入厦门大学物理系，三年后转入北京大学半导体物理专业。1958年，第一块锗和硅集成电路在美国诞生，一场“微电子工业革命”在全球范围内掀起。看到半导体技术应用在集成电路中的广阔前景，许居衍投身这一研究领域，成为中国第一块硅平面单片集成电路的主要研制者，从此与半导体集成电路结下不解之缘。
　　
　　当时国内近乎完全封闭的环境，使许居衍很难获取最前沿的技术资料。没有完备的科研条件和设备，许居衍从废旧库房中深挖潜力，自己动手制作科研仪器。经过三年多的努力，他和同事们掌握了优质氧化等关键工艺技术，终于制作出硅平面二极管、三极管组合件。
　　
　　20世纪70年代末，国外半导体集成电路技术有了突飞猛进的发展，进入大规模集成电路时代。1983年，许居衍作为国务院大规模集成电路与计算机领导小组顾问，参与发展大规模集成电路工业、加快开发电子产品的决策咨询。他率先提出加大科研成果的转化力度，建立微电子工业基地，这一建议得到采纳。
　　
　　同一年，国家决定抽调技术骨干在无锡建立24所无锡分所——无锡微电子科研中心，许居衍以技术负责人的身份，组织筹建24所无锡分所，促成国内第一个微电子科研生產联合体的诞生。作为总工程师，他为这家新成立的研究机构提供三个主攻方向：通信集成电路、专用集成电路，高档消费类集成电路。
　　
　　这些年，人工智能技术方兴未艾。虽然距离真正的人工智能还有一段距离，但这项技术的发展速度惊人。有研究机构预测，到2030年，中国的人工智能产业规模将分别达到七万亿美元。
　　
　　许居衍在一次演讲中提出一个惊人的观点：“摩尔定律已死，，人工智能万岁。”所谓摩尔定律，是由英特尔创始人之一戈登·摩尔所提出，即当价格不变时，集成电路上可容纳的元器件的数目，约每隔18-24个月便会增加一倍，性能也将提升一倍。
　　
　　然而许居衍指出，这个定律已经无法解释这两年集成电路惊人的发展速度，也就是说每一美元所能买到的电脑性能，已经不再是每隔18-24个月翻一倍以上，现在性能翻番要远远短于这个时间。
　　
　　这样爆炸式的发展，得益于人工智能技术的推进。人工智能在1956年被提出，如今已有60多年的历史，当下正处于第三次浪潮时期，即深度学习时期。伴随人工智能技术快速发展，扮演核心角色的芯片，也能够不断提供更高的处理、存储信息的能力。
　　
　　许居衍期望集成电路在人工智能技术中有更大的作为，他将目光投向可重构芯片，因为这种芯片具有低功耗、高性能、安全性、灵活性、并行性、低成本的特点。目前，国内有两款可重构芯片，分别是清华Thinker可重构人工智能芯片和南大RASP可重构芯片。这两款芯片都表现出优异的性能。只有进一步改进这两款芯片的性能，才能适应人工智能技术日新月异的发展需求。为此，许居衍不顾自己年事已高，依旧在各个研究所、实验室奔走，带领一大批年轻的科研工作者，为攻克这个“科研高地”而殚精竭虑。
　　
　　60多年来，许居衍一直在集成电路领域辛勤耕耘。他是中国微电子工业初创奠基的参与者，也是当今最重点企业的技术创建与开拓者，为中国微电子工业发展作出了重大贡献。