OpenAI最新论文:机器学习效率正在超越摩尔定律


但是速度有多快呢,是什么在驱动着速度呢?虽然更好的计算机芯片是关键,但 AI 研究机构 OpenAI 认为,我们也应该衡量实际机器学习算法的改进速度。
由 OpenAI 的 Danny Hernandez 和 Tom Brown 撰写并发表在 arXiv 上的论文指出,研究人员称他们已经开始跟踪衡量机器学习的效率,即用更少的资源做更多的事。他们使用这种方法表明,人工智能已经以一种极快的速度变得更加高效。
算法效率提升加快研究
一般说来,驱动 AI 进步的有三个因素:运算量、数据和算法创新。计算能力更容易跟踪,但算法方面的改进却有点难以捉摸。
我们可以将算法效率定义为减少训练特定功能所需的计算量,它是衡量计算机科学中算法进度的主要指标。传统问题(如排序)的效率提升比机器学习更易于衡量,因为它们可以更清晰地衡量任务难度。但是,可以通过保持性能恒定来将效率透镜应用于机器学习。


算法效率的提高,使得研究人员可以在给定的时间和金钱下进行更多感兴趣的实验,加速未来 AI 的研究。

人工智能的未来
资料来源:
https://openai.com/blog/ai-and-efficiency/
IEEE Spectrum
《科技纵览》
官方微信公众平台

