Chip
#Pocket
Issue Date: 2024-11-21 That Chip Has Sailed: A Critique of Unfounded Skepticism Around AI for Chip Design, Anna Goldie+, arXiv'24 SummaryAlphaChipは深層強化学習を用いて超人的なチップレイアウトを生成する手法で、AIチップ設計の進展を促進した。しかし、ISPD 2023での非査読論文が性能に疑問を呈し、実行方法に問題があった。著者は、事前トレーニングや計算リソースの不足、評価基準の不適切さを指摘。Igor Markovによるメタ分析も行われた。AlphaChipは広範な影響を持つが、誤解を避けるためにこの応答を発表した。 Commentoh... #Article #EfficiencyImprovement #Transformer
Issue Date: 2024-09-18 Sohu, etched, 2024.06 Comment>By burning the transformer architecture into our chip, we can’t run most traditional AI models: the DLRMs powering Instagram ads, protein-folding models like AlphaFold 2, or older image models like Stable Diffusion 2. We can’t run CNNs, RNNs, or LSTMs either.
transformer以外の大抵のモデルでは動作しないが、代わりにH-100よりも20倍早いinferenceを実現できるチップらしい。
>With over 500,000 tokens per second in Llama 70B throughput, Sohu lets you build products impossible on GPUs.
いやいやいやLlama-70Bで0.5M Token/secは早すぎる！！！
Issue Date: 2024-11-21 That Chip Has Sailed: A Critique of Unfounded Skepticism Around AI for Chip Design, Anna Goldie+, arXiv'24 SummaryAlphaChipは深層強化学習を用いて超人的なチップレイアウトを生成する手法で、AIチップ設計の進展を促進した。しかし、ISPD 2023での非査読論文が性能に疑問を呈し、実行方法に問題があった。著者は、事前トレーニングや計算リソースの不足、評価基準の不適切さを指摘。Igor Markovによるメタ分析も行われた。AlphaChipは広範な影響を持つが、誤解を避けるためにこの応答を発表した。 Commentoh... #Article #EfficiencyImprovement #Transformer
Issue Date: 2024-09-18 Sohu, etched, 2024.06 Comment>By burning the transformer architecture into our chip, we can’t run most traditional AI models: the DLRMs powering Instagram ads, protein-folding models like AlphaFold 2, or older image models like Stable Diffusion 2. We can’t run CNNs, RNNs, or LSTMs either.
transformer以外の大抵のモデルでは動作しないが、代わりにH-100よりも20倍早いinferenceを実現できるチップらしい。
>With over 500,000 tokens per second in Llama 70B throughput, Sohu lets you build products impossible on GPUs.
いやいやいやLlama-70Bで0.5M Token/secは早すぎる！！！