苏州纳米所等在深度学习优化算法研究方面取得进展

近年来，在材料科学、人工智能芯片等前沿领域，深度学习受到广泛的研究和应用。具体来说，深度学习通过学习样本数据的内在规律和表示层次实现机器像人一样具有分析和学习的能力，因而在材料科学研究中可以帮助分析高维、非线性的特征数据；在人工智能芯片研发中可以提供高效、通用的网络模型。区别于传统的浅层学习，深度学习一般具有深层的神经网络模型结构，比如目前最复杂的深度模型BERT含有1亿个以上的参数。因此，深度模型的训练（也就是求解模型的参数）一直是一项具有挑战性的任务。