GPU-Platform
#Article
Issue Date: 2024-11-09 The Fastest Access to Enterprise-Grade Cloud GPUs, Lambda Comment元ポスト: https://x.com/arutema47/status/1855057804262088900?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q
A100を1時間あたり1.29$で使えるぽいので、安価である。8BのLLMをLoRAでちょろっとSFTするくらいなら、数ドルくらいでいけそう。AWSだと、A100を8基、vCPU96、VRAM320G、RAM1152GiBのインスタンス（p4d24xlarge）が、1時間あたりオンデマンドで32.77$なのに対し、
LambdaではA100 1基あたり1.29$なので、8基で10.32$となる。したがって、コストはだいたいAWSのおよそ1/3くらいに見える（他にも安価なAWSインスタンスあるかもだが）。
ちなみにLambdaでは、vCPU124、RAM1800GiBである。
AWS参考:https://aws.amazon.com/jp/ec2/instance-types/p4/こちらのポストも参照のこと:https://x.com/gyakuse/status/1855429821939261833?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q
Lambdaに加え
・[runpod.io](https://www.runpod.io)
・[vast.ai](https://vast.ai/)
というサービスも紹介されている。[Perplexityで3つを比較させた結果（参考; Hallucinationに注意）](https://www.perplexity.ai/search/runpod-io-vast-ai-lambdatea100-vJgXn4osSfCqxPsxuJEPKA)
>これらのサービスの中では、Vast.aiが最も安価ですが、セキュリティと安定性に注意が必要です。RunPodは多機能で使いやすいものの、やや高価です。Lambdaは安定性が高いですが、柔軟性に欠ける面があります。選択する際は、予算、セキュリティ要件、必要な機能性を考慮して判断することが重要です。
Issue Date: 2024-11-09 The Fastest Access to Enterprise-Grade Cloud GPUs, Lambda Comment元ポスト: https://x.com/arutema47/status/1855057804262088900?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q
A100を1時間あたり1.29$で使えるぽいので、安価である。8BのLLMをLoRAでちょろっとSFTするくらいなら、数ドルくらいでいけそう。AWSだと、A100を8基、vCPU96、VRAM320G、RAM1152GiBのインスタンス（p4d24xlarge）が、1時間あたりオンデマンドで32.77$なのに対し、
LambdaではA100 1基あたり1.29$なので、8基で10.32$となる。したがって、コストはだいたいAWSのおよそ1/3くらいに見える（他にも安価なAWSインスタンスあるかもだが）。
ちなみにLambdaでは、vCPU124、RAM1800GiBである。
AWS参考:https://aws.amazon.com/jp/ec2/instance-types/p4/こちらのポストも参照のこと:https://x.com/gyakuse/status/1855429821939261833?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q
Lambdaに加え
・[runpod.io](https://www.runpod.io)
・[vast.ai](https://vast.ai/)
というサービスも紹介されている。[Perplexityで3つを比較させた結果（参考; Hallucinationに注意）](https://www.perplexity.ai/search/runpod-io-vast-ai-lambdatea100-vJgXn4osSfCqxPsxuJEPKA)
>これらのサービスの中では、Vast.aiが最も安価ですが、セキュリティと安定性に注意が必要です。RunPodは多機能で使いやすいものの、やや高価です。Lambdaは安定性が高いですが、柔軟性に欠ける面があります。選択する際は、予算、セキュリティ要件、必要な機能性を考慮して判断することが重要です。