Cerebras' MemoryX system delivers and manipulates weights for neural network training in the CS-2. The SwarmX network allows up to 192 CS-2s to work together on the same network.CEREBRASFeldman说：“我们终于解决了最紧迫的问题之一：如何使构建集群变得简单。”因为一个WSE2可以保存一个网络中的所有激活，Cerebras可以想出一个方案，使计算机数量加倍确实可以使训练速度加倍。首先，代表神经网络的一整套激活被复制到每个CS-2（为了简单起见，让我们假设您只有两台AI计算机），然后相同的一组权重流到两台计算机。但是训练数据被分成两半，一半的数据发送到每个CS-2。使用一半的数据，计算梯度需要一半的时间。每个CS-2都会产生不同的梯度，但这些可以结合起来更新MemoryX中的权重。然后，新的重量流传输到CS-2，与之前一样，该过程重复进行，直到获得准确的网络，在这种情况下，只需一台计算机所需时间的一半。Feldman表示，Cerebras已经在由“数千万个人工智能核心”组成的机器集群上完成了这项工作。同时他的人工智能内核数量也达到了85万个，打破首代WSE 处理器创造的世界纪录。无论是核心数还是片上内存容量均远高于迄今性能最强的GPU。此外，Cerebras还实现了192台CS-2 AI计算机近乎线性的扩展，从而打造出包含高达1.63亿个核心的计算集群。
Neural network weights flow to CS-2 computers linked by the SwarmX system. Training data is divided up and delivered to the CS-2s, which compute the backpropagation gradients that are combined and delivered to MemoryX CEREBRASHot Chips报道的最后一项创新被称为Selectable Sparsity：一种动态稀疏选择技术。这是一种在不影响网络准确性的情况下减少训练中涉及的参数数量的方法。稀疏性在人工智能中是一个巨大的研究领域，但对于CS-2来说，它涉及的很多方面都是从不乘以零的。Cerebras首席执行官兼联合创始人Andrew Feldman表示，这推动了行业的发展。根据该公司的说法，这四项创新的结合可帮助Cerebras计算机保持在神经网络的顶端，为研究和见解开辟广阔的新途径。文章来源：IEEE电气电子工程师
