AWS (9) — 1/1


Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Blog #OpenWeight #Proprietary #Japanese #Selected Papers/Blogs #KeyPoint Notes #Reading Reflections Issue Date: 2026-06-02 Comment

元ポスト:

Loading…

Bedrock経由で利用できるLLMに対する llm-jp-evalの評価結果が、コストとパフォーマンスの双方の上で比較されている。Claude Opus 4.6(4.7, 4.8と比較して)のスコアが最も高く、日本語能力はベンチマーク上は平均スコアで見ると向上していないように見える。カテゴリごとの結果では、4.8がQAにおいて大幅にスコアが悪化しているのが興味深い。また、スコアを掲載して終わりではなく、全てのLLMが間違える個別の事例などもいくつか掲載されており興味深い。OpenWeightなLLMではKimi 2.5のコストパフォーマンスが最も良さそうに見えるが、Gemma4は評価に含まれていないので気になるところ。

日本語LLMの評価は
- Swallow LLM Leaderboard v2, Swallow LLM Team, 2025.08

も参考のこと。

直近のHaiku 5.5を含めて、日本語ベンチマーク性能が更新されたようである。

Loading…


--- 改めて見た感想
Open Japanese LLM Leaderboardとはことなり、直近のプロプライエタリなフロンティアモデルに対してもllm-jp-evalでのスコアが比較されており非常に興味深い。

個人的にGPT-6-luna/GPT-5.6-lunaを比較したときに、5.6-lunaの方が日本語能力高いなあ、という感想を抱いていたのだが、ベンチマークのスコアとしても若干5.6-lunaの方が高かったため、少なくともベンチマーク上で大差がつくような結果ではないため、おもしろいなあ、と思うなどした。

あと、gpt-oss-120Bが結構古めなのに高い日本語スコアを記録しており、(Open Japanese LLM leaderboardでもともとtopレベルの性能であることが観測できたが)、現在のフロンティアモデル群と比較したときにどの程度のスコアなのか、というのが見れて非常に興味深い。

gpt-oss-120Bがリリースされたのが、2025年8月であり、(個人の感想だが)事後学習のRLに大量の計算資源の投入、あるいはEnvironmentをスケールさせて様々なタスクでRLVRする、MOPDをする、といった取り組みの初期だったであろうことと、
terra/sol/astraは明確にスコアが高いので、(これも個人の感想で)仮にlunaよりもモデルサイズが大きいのだとすると(事前学習・中間学習のデータやアーキテクチャが異なるのかも知らんが)、言語能力は事前学習・中間学習で醸成され、モデルサイズが大きいほど高い言語能力を有する傾向にあるのかなあ?という、ただの個人の感想を抱くなどした。

あと、信頼できる機関からの日本語ベンチマークが整備されていて、最新モデルが出てもこのようにスコアを比較してくださる方がいて、各モデルの日本語性能の温度感を知れるのは本当にありがたい話である。ありがとうございます。




Paper/Blog Link My Issue
#Article #RecommenderSystems #NeuralNetwork #Embeddings #EfficiencyImprovement #ML-LLM Ops #Blog #A/B Testing #TwoTowerModel #One-Line Notes Issue Date: 2025-06-29 Comment

リアルタイム推薦をするユースケースにおいて、ルールベース+協調フィルタリング(Jubatus)からTwo Towerモデルに切り替えた際にレイテンシが300ms増えてしまったため、ボトルネックを特定し一部をパッチ処理にしつつもリアルタイム性を残すことで解決したという話。AWSの構成、A/Bテストや負荷テストの話もあり、実用的で非常に興味深かった。




Paper/Blog Link My Issue
#Article #ComputerVision #NLP #Dataset #MultiModal #Blog #Japanese #VisionLanguageModel #Initial Impression Notes Issue Date: 2025-05-20 Comment

貴重なVLMデータセット構築ノウハウ

青塗りのフィルタリングタスクを具体的にどうやっているのか気になる




Paper/Blog Link My Issue
#Article #Infrastructure #AWSLambda #Reference Collection Issue Date: 2023-04-23 Comment

- AWS Lambda and EFS Troubleshooting

- https://www.digitalsanctuary.com/aws/aws-lambda-and-efs-troubleshooting.html

- VPC内のEFSにアクセスできるようなセキュリティーポリシーを作成してアタッチすると良いという話。in-bound, out-boundともにNFSを許可

- 【AWS】VPC Lambdaを構築したときのメモ

- https://qiita.com/aiko_han/items/6b3010250e2887206b4f

- Amazon VPC に接続されている Lambda 関数にインターネットアクセスを許可するにはどうすればよいですか?

- https://repost.aws/ja/knowledge-center/internet-access-lambda-function




Paper/Blog Link My Issue
#Article #Infrastructure #ECS #Reference Collection Issue Date: 2023-04-16 Comment

- キャパシティプロバイダーについて

- https://dev.classmethod.jp/articles/regrwoth-capacity-provider/

- Fargateをスポットで7割引で使うFargate Spotとは? #reinvent

- https://dev.classmethod.jp/articles/fargate-spot-detail/

- ECSでのデプロイでコケる原因ざっくりまとめ

- https://zenn.dev/isosa/articles/e371bc2d76e812

- M1 MacでビルドしたイメージをFARGATEで使おうとした時の'exec user process caused: exec format error' の対処法

- https://qiita.com/ms2geki/items/1cfb0db3f4c1aab96e75

- PythonでログをCloudWatchに出力する「Watchtower」

- https://dev.classmethod.jp/articles/python_log_cloudwatch_watchtower/




Paper/Blog Link My Issue
#Article #Infrastructure #Slide #One-Line Notes Issue Date: 2021-10-08 Comment

こちらも参照のこと

https://logmi.jp/tech/articles/324242

◆伝統的なデータウェアハウスの限界:
場当たり的にデータを蓄積し、活用しているとデータのサイロ化が生じてしまう。
サイロ化したデータを一箇所にまとめて活用できるようにしましょうというのがData Lakeの考え方。

◆データレイクアーキテクチャ
すべてのデータを一元的に保管でき、耐障害性、可用性が高く、スケーラブルで低コストな必要がある。
また、データは非常に多様化しているので、多様なデータをそのままのフォーマットで保管し活用できる必要がある。
ストレージとデータの活用層を疎結合にして、さまざまなユースケース・分析に対処できるようにする。
(たとえば、ストレージに特定のスキーマのテーブルを使っており、そのスキーマに対してしか分析できません、とかは避けるということかな?)

S3上に生データを保存し、AWS Glueでメタデータを管理する。AWS GlueのようなETLサービスを利用してデータを利用しやすい形式に変更して格納し、活用する(pp.9--10)。

データレイクを作る際のポイント「小さく始める」という部分も重要だと思われるので参照のこと