英伟达新核弹GPU:800亿晶体管 20张即可承载全球流量
他来了他来了,老黄带着英伟达的最新一代GPU来了。 之前大家猜的5nm错了,一手大惊喜,老黄直接上了台积电4nm工艺。新卡取名H100,采用全新Hopper架构,直接集成了800亿个晶体管,比上一代A100足足多了260亿个。 内核数量则飙到了前所未有的16896个,达到上一代A100卡的2.5倍。浮点计算和张量核心运算能力也随之翻了至少3倍,比如FP32就达到了达到60万亿次/秒。特别注意的是,H100面向AI计算,针对Transformer搭载了优化引擎,让大模型训练速度直接 x 6。(可算知道5300亿参数的威震天-图灵背后的秘诀了。)作为一款性能爆炸的全新GPU,不出意外,H100将与前辈V100、A100一样成为AI从业者心心念念的大宝贝。 不过不得不提,它的功耗也爆炸了,达到了史无前例的700W,重
2022-03-23 16:07:53