近期研究发现，在训练深度学习系统时，相较于只用CPU，同时使用CPU与GPU不仅速度较快、过程中错误率较低，结果也更为精确。尽管研究只针对特定的深度神经网络(deep neural networks；DNN)来做实验，但仍有参考价值。

这篇名为〈GPU不确定性对预测性深度神经网络训练的影响〉的研究由波兰亚当米其卫兹大学、日本基础生物学研究所、大阪大学，以及Sony计算机科学实验室的研究人员共同合作，并于2021年9月发表。研究指出，深度神经网络通常具有不确定性(uncertainties)。例如当使用的硬件和软件不同，便会对算法产生的不同的干扰。该实验关注使用GPU训练深度神经网络时，对于不确定性会有何影响。

 

实验包含2款深度神经网络，分别是自动编码器(Autoencoder)，以及「可预测神经网络」(Predictive Neural Network；PredNet)。自动编码器的复杂度较低，运算方式为线性，只能够用来重建(reconstruct)图像，而非预测目标值(target value)；PredNet由哈佛大学推出，设计模拟人类大脑皮质运作的模式，为卷积神经网络(Convolutional Neural Network；CNN)。CNN在图像和语音识别上都有优异表现，目前已被广泛运用于自驾车、矿产探勘和医疗领域。

 

结果显示，在CPU与GPU都具备的形况下训练PredNet，可大幅降低过程中的错误，算法判别结果的正确率也比只用CPU训练高。不过在自动编码器的运算中，是否有GPU，表现就没有显著差异。GPU造成的不确定性，过去一直被视为是缺失，但是研究团队推测，或许正是这样的不确定性，让机器学习精准度提升。

 

尽管本次实验结果未必适用于其他算法，但是研究团队认为，它能为未来的深度学习系统设计提供灵感。如果说算法是「黑盒子」，那么只要找出GPU让系统表现更好的原因，不仅能够有助于理解算法，还可以用来改良日后CPU的设计。

免责声明:

本网站中标注“来源网络”的作品，均转载于第三方网站，本网站转载系出于传递信息之目的，并不意味着对作品观点的正确性、合法性以及作品内容的真实性负责，如有涉及版权问题，请联系钜商网二手设备平台删除。联系电话:400-0192-688