黄仁勋力推AI推理需更大计算力 (黄仁勋吧)

英伟达CEO黄仁勋在公司股东大会上强调了推理计算能力的重要性，并指出在过去的一年里，tokens（词元）生成量出现了显著的增长。他提到，仅在过去一年内，tokens的生成量就激增了50到100倍。这一现象反映了人工智能领域，尤其是大语言模型等先进模型对于计算资源需求的急剧上升。

为了应对这种快速增长的需求，大型人工智能基础设施在全球范围内迅速发展。例如，微软公司在过去一个季度中处理的tokens数量达到了惊人的100万亿，比一年前增加了5倍。这表明，无论是科技巨头还是其他企业都在积极构建或扩展其人工智能相关的计算能力。

这种大规模的tokens生成背后的原因是多方面的。一方面，随着技术的进步，越来越多的应用场景开始依赖于自然语言处理等AI技术，从而推动了对tokens生成的需求；另一方面，模型本身的复杂性和参数规模也在不断增大，这也进一步加剧了对计算资源的压力。面对这样的挑战，像英伟达这样的公司通过提供高性能的GPU等硬件设施来支持这些计算任务，为行业发展提供了重要的技术支持。