Article
#LanguageModel
Issue Date: 2023-12-07 Gemini, Google23 Comment多くのベンチマークでGPT4超えらしい（追記1）テクニカルレポートのp.44を見ると、ブログポスト中のGPT4のMMLUのスコアはGPT-4-0613のもののようなので、これが正しいとすると他のベンチマークのスコアも同モデルのものである可能性が高く、GPT-4-1163-preview（最新モテクニ ...
#Article
Issue Date: 2024-11-18 【総集編）】15年間のC向けサービスづくりで 得た学び, Shota Horii, 2024.11 Comment具体的だがシンプルに知見がまとまっていてとても分かりやすい。顧客開発モデルに基づいた考え方のみならず、仮設整理のために実際に使われているシートなどの実用的なツール群や、顧客とのチャネル構築方法、プロダクトのスケールするための知見、チームビルディング、カルチャーの作り方の作法など（他にも透明性と ... #Article#Survey#NLP#LanguageModel#OpenWeightLLM#OpenSource
Issue Date: 2024-11-15 ローカルLLMのリリース年表, npaka, 随時更新, 2024.11 CommentローカルLLMを含むOpenLLMのリリース日が年表としてまとまっており、随時更新されている模様。すごい。 ...
Issue Date: 2023-12-07 Gemini, Google23 Comment多くのベンチマークでGPT4超えらしい（追記1）テクニカルレポートのp.44を見ると、ブログポスト中のGPT4のMMLUのスコアはGPT-4-0613のもののようなので、これが正しいとすると他のベンチマークのスコアも同モデルのものである可能性が高く、GPT-4-1163-preview（最新モテクニ ...
Issue Date: 2024-11-18 【総集編）】15年間のC向けサービスづくりで 得た学び, Shota Horii, 2024.11 Comment具体的だがシンプルに知見がまとまっていてとても分かりやすい。顧客開発モデルに基づいた考え方のみならず、仮設整理のために実際に使われているシートなどの実用的なツール群や、顧客とのチャネル構築方法、プロダクトのスケールするための知見、チームビルディング、カルチャーの作り方の作法など（他にも透明性と ... #Article#Survey#NLP#LanguageModel#OpenWeightLLM#OpenSource
Issue Date: 2024-11-15 ローカルLLMのリリース年表, npaka, 随時更新, 2024.11 CommentローカルLLMを含むOpenLLMのリリース日が年表としてまとまっており、随時更新されている模様。すごい。 ...
#Article
Issue Date: 2024-11-11 The Surprising Effectiveness of Test-Time Training for Abstract Reasoning, 2024.11 #Article#NLP#AudioProcessing#AutomaticSpeechRecognition(ASR)
Issue Date: 2024-11-07 ほぼリアルタイム！？爆速で動作する日本語特化の文字起こしAI！『kotoba-whisper-v2.0』, 遼介 大堀, 2024.11 Commentwhisper large-v3を蒸留したkotoba-whisper-v1.0に対して、日本語のオーディオデータで追加学習をしたモデル、kotoba-whisper-v2.0を利用するための環境構築方法やコードの例が記述されている。公式によると、whisper-large-v3よりも6.3倍の日本 ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#Quantization
Issue Date: 2024-10-26 Introducing quantized Llama models with increased speed and a reduced memory footprint, Meta, 2024.10 #Article
Issue Date: 2024-10-25 Ilya Sutskever’s Top 30 Reading List #Article#Survey#GenerativeAI
Issue Date: 2024-10-01 生成AIを活用したシステム開発 の現状と展望 - 生成AI時代を見据えたシステム開発に向けて-, 株式会社日本総合研究所 先端技術ラボ, 2024.09 Commentソフトウェア開発で利用され始めている生成AIのプロダクト群と、それらに関連するソースコード生成やテストコード生成、エージェントによる自動システム開発等の研究動向、今後の展望について具体的に記述されている。SIerやITベンダー内では、実際に活用しているところも一部あるようだが、まだ検証や改革の途De ... #Article#Management
Issue Date: 2024-09-30 非プロダクトマネージャーのためのプロダクトマネジメント入門, 神原淳史, 2024.09 Commentプロダクトマネジメントについて初心者向けに書かれた記事。勉強になった。JTBDフレームワークは顧客開発モデルなどでも出てくるので、もう一度復習しておきたい。>When (Situation) I want to (Motivation) So I can (Expected outcome)レベル2 ... #Article#Pocket#API
Issue Date: 2024-09-30 API設計まとめ, KNR109, 2024.02 #Article#Pocket#NLP#LanguageModel#Evaluation#LLM-as-a-Judge
Issue Date: 2024-09-30 Evaluating the Effectiveness of LLM-Evaluators （aka LLM-as-Judge）, 2024.09 CommentLLM-as-a-judgeについて網羅的に書かれた記事 ... #Article#InformationRetrieval#Pocket#NLP#LanguageModel#RetrievalAugmentedGeneration
Issue Date: 2024-09-29 RAGの実装戦略まとめ, Jin Watanabe, 2024.03 #Article#ComputerVision#NLP#LanguageModel#OpenWeightLLM
Issue Date: 2024-09-25 Llama 3.2: Revolutionizing edge AI and vision with open, customizable models, Meta, 2024.09 Comment11Bと90BのVLMと、エッジデバイス向けの1B, 3BのSLMを発表。を使うのが一番お手軽で、inference速度が速そう。PagedAttentionと呼ばれるキャッシュを利用して高速化しているっぽい。 （図はブログ中より引用）  [MLflow](https://mlflow.org/) [Neptune.ai](https://neptune.ai/) [Weights & Biases](https://w ... #Article#ExperimentManagement
Issue Date: 2024-07-09 5行でカッコいい可視化を「WandB」入門 #Article#Tutorial#Pretraining#NLP#LanguageModel
Issue Date: 2024-07-08 GENIAC: 172B 事前学習知見, 2024 CommentLLMの事前学習における知見がまとまっている記事とのこと・Megatron LMで学習 → 3D Parallelismなどの分散学習手法によりHF Trainerより高速 → Data Parallelim、Tensor Parallelism、 Pipeline Parallelismを組み合わ ... #Article#RecommenderSystems#Tutorial
Issue Date: 2024-04-26 推薦・機械学習勉強会, Wantedly CommentWantedlyさんのRecSys勉強会の資料がまとまったリポジトリ。継続的に更新されており、最近この辺のトピックは追いきれていないので非常に有用。 ... #Article#Pretraining#Finetuning (SFT)
Issue Date: 2024-04-26 The End of Finetuning — with Jeremy Howard of Fast.ai, 2023.11 #Article
Issue Date: 2024-04-21 「ビジネスロジック」とは何か、どう実装するのか Comment普段あいまいに使いがちなビジネスロジックについて、勉強になった。 プレゼンテーション層：ユーザからのI/Oのインタフェースに関する処理を実装 データアクセス層：ファイルやDBに対してデータを読み書き 本記事によると上記以外が「ビジネスロジック」という整理。 たとえば、じゃんけんの ... #Article#Pocket#LanguageModel#MultiLingual
Issue Date: 2024-04-12 The State of Multilingual AI, Sebastian Ruder, 2024 #Article
Issue Date: 2024-04-08 Chat with RTX, NVIDIA #Article#Pocket#LanguageModel
Issue Date: 2024-04-02 Mamba Explained #Article
Issue Date: 2024-03-31 IT契約入門〜雇用契約、請負契約から準委任まで #Article
Issue Date: 2024-03-21 生産性指標をFour Keysから変更した話, SanSan Tech Blog Commentモバイルアプリ開発における生産性指標に関するお話。Four Keysをモバイルアプリに適用した場合の課題を分析し、自チームの中長期的な目標を達成するためにどのような生産性指標を採用すべきかが言語化されており、興味深かった。Four Keysとは: https://blog.recruit.co. ... #Article#NLP#LanguageModel
Issue Date: 2024-03-18 Open Release of Grok-1 March 17, 2024 CommentApache2.0ライセンス, 314Bパラメータでモデルの重み、Mixture-of-Expertsを採用している。学習データ、学習に利用したコードはおそらく公開されていない。Grok-1.5がリリースhttps://x.ai/blog/grok-1.5各種ベンチマークの性能、特にMathの性能が ...
#Article#Tutorial#Survey#InformationRetrieval#NLP#LanguageModel#RetrievalAugmentedGeneration
Issue Date: 2024-03-05 RAG-Research-Insights CommentRAGに関する研究が直近のものまでよくまとめられている ... #Article#Survey#NLP#LanguageModel
Issue Date: 2024-03-04 What are the most important LLMs to know about in March 2024? Comment2024年3月時点で知っておくべきLLMに関するスレッド ... #Article#Tutorial#Survey#InformationRetrieval#LanguageModel
Issue Date: 2024-02-22 awesome-generative-information-retrieval #Article#NLP#InformationExtraction
Issue Date: 2024-01-16 LLMにおける情報抽出（文章から必要な事柄を読み取る）タスクについての調査, AIDB #Article#NaturalLanguageGeneration#NLP#LanguageModel
Issue Date: 2024-01-01 Decoding Strategies that You Need to Know for Response Generation Comment言語モデルのdecodingの方法についてよくまとまっている。まとめられているdecoding方法は以下 Greedy, BeamSearch, RandomSampling, Temperature, Top-K Sampling, Nucleus Samplingこちらの記事ではHuggingF ... #Article#InformationRetrieval#NLP#RetrievalAugmentedGeneration
Issue Date: 2023-12-21 Structured Hierarchical Retrieval, llama-index Comment元ツイート: https://x.com/llama_index/status/1737515390664872040?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article#InformationRetrieval#RetrievalAugmentedGeneration
Issue Date: 2023-12-21 Build a search engine, not a vector DB #Article#LanguageModel
Issue Date: 2023-12-20 ELYZA-tasks-100 でLLM14個の日本語性能を横断評価してみた #Article#LanguageModel
Issue Date: 2023-12-13 大規模モデルを支える分散並列学習のしくみ Part1 #Article#LanguageModel
Issue Date: 2023-12-05 もし明日、上司に「GPT-4を作れ」と言われたら？ Stability AIのシニアリサーチサイエンティストが紹介する「LLM構築タイムアタック」 CommentStabilityAI Japan秋葉さん（元PFN）のW&B Conferenceでの発表に関する記事。LLM構築タイムアタックでLLMをもし構築することになったら！？のざっくりとしたプロセスや、次ページでOpenAIのGPT4のテクニカルレポートのクレジットから各チームの規模感を推定して、ど ... #Article#InformationRetrieval#NLP#LanguageModel#RetrievalAugmentedGeneration
Issue Date: 2023-12-04 kaggle LLM コンペ 上位解法を自分なりにまとめてみた話 Comment実践的な内容（チャンク生成時の工夫、クエリ生成時の工夫等）が網羅的にまとまっており非常に有用個人的に、コンペ主催者側から提供されたデータが少なく、上位のほとんどのチームがChatGPT（3.5, 4）を用いて、QAデータを生成していた、というのが興味深かった。プロンプトはたとえば下記: [（5th- ... #Article#Mindset
Issue Date: 2023-12-04 PMConf2023: シリコンバレーのプロダクトマネージャー達に見る、 覚悟を決めたPMは何が違うのか？ Comment視野、視座の話、StepChange、PMとして何に注力すべきか、クリティカルシンキング、Overcommunicationなどの考え方が参考になった。結局どれだけ収益に繋がるのかという話。ユーザに価値を届けられて満足、で終わってはいけない。 ... #Article#Tutorial#RetrievalAugmentedGeneration
Issue Date: 2023-11-22 Deconstructing RAG CommentRAGにおける様々な戦略がまとまっている（リンク付き ... #Article
Issue Date: 2023-11-21 AWS FargateではなくECS on EC2を選ぶメリット〜コスト編〜 Comment安く済ませたい・・・ ... #Article#NLP#LanguageModel#Evaluation#RetrievalAugmentedGeneration
Issue Date: 2023-11-21 Zephyr-7B-beta, RAG Perf. CommentZephyr-7B-betaのRAGでの性能がデータセットで評価されている下記Xポストによるとgpt-3.5-turboと同等https://x.com/rungalileo/status/1726638537767051436?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article#Adapter/LoRA
Issue Date: 2023-11-20 Practical Tips for Finetuning LLMs Using LoRA （Low-Rank Adaptation） #Article#GenerativeAI
Issue Date: 2023-11-17 生成系 AI でプロダクトの価値を高めるには, 2023 CommentAWS久保さんの資料。後で読む ... #Article#NLP#RetrievalAugmentedGeneration
Issue Date: 2023-11-15 ChatGPTに社内文書に基づいた回答を生成させる仕組みを構築しました, 2023 Comment低コストで社内文書に対するRAGを実現することに注力している。以下、図はブログから引用。基本的にはバッチジョブで社内文書をベクトル化しS3へ格納。アプリ起動時にS3から最新データを読み込み検索可能にしRAGするという流れ。低コスト化のために、Embedding作成にOpenSourceの特に日本語テ ...
#Article#Library#Transformer
Issue Date: 2023-11-13 Transformers.js, 2023 Commentブラウザ上でTransformerベースの様々なモデルを動作させることができるライブラリ ... #Article#Pocket#RetrievalAugmentedGeneration
Issue Date: 2023-11-13 Boosting RAG: Picking the Best Embedding & Reranker models #Article#Survey#NaturalLanguageGeneration#NLP#Dataset#DataToTextGeneration
Issue Date: 2023-11-08 Data-to-Text Datasetまとめ, 2022 CommentData-to-Textのデータセットを自分用に調べていたのですが、せっかくなのでスライドにまとめてみました。特にMR-to-Text, Table-to-Textあたりは網羅的にサーベイし、データセットの概要を紹介しているので、全体像を把握するのに良いのかなぁと思います。ただし、2022年12月時 ... #Article#Tutorial#NLP#LanguageModel#Alignment#GenerativeAI#Hallucination
Issue Date: 2023-11-03 生成AIが抱えるリスクと対策, LYCorp‘23 Commentこの資料をスタートにReferしている論文などを勉強すると、GenerativeAIのリスク周りに詳しくなれそう。この辺は疎いので勉強になる。しかし、LLMのAlignmentが不十分だったり、Hallucinationを100%防ぐことは原理的に不可能だと思われるので、この辺とどう付き合っていく ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#MulltiModal#FoundationModel
Issue Date: 2023-11-01 tsuzumi, NTT’23 CommentNTT製のLLM。パラメータ数は7Bと軽量だが高性能。MTBenchのようなGPT4に勝敗を判定させるベンチマークで、地理、歴史、政治、社会に関する質問応答タスク（図6）でgpt3.5turboと同等、国産LLMの中でトップの性能。GPT3.5turboには、コーディングや数学などの能力では劣るとt ...
#Article#Analysis#MachineLearning#Transformer
Issue Date: 2023-10-29 大規模言語モデルにおいて､「知識は全結合層に蓄積される」という仮説についての文献調査 Commentタイトルの通り、知識がFFNに蓄積されていると主張しているらしい原論文を読み解いている。まとめを引用すると> 「知識は全結合層に蓄積される」という表現は､ややラジカルで､少なくともこの論文では「全結合層は知識獲得において重要」という程度の､もう少しマイルドな主張をしているように見受けられまし ... #Article#NeuralNetwork#ComputerVision#Efficiency/SpeedUp#NLP#LanguageModel#DiffusionModel
Issue Date: 2023-10-29 StableDiffusion, LLMのGPUメモリ削減のあれこれ CommentGradient Accumulation, Gradient Checkpointingの説明が丁寧でわかりやすかった。 ... #Article#NLP#LanguageModel#Prompting
Issue Date: 2023-10-29 LLMのプロンプト技術まとめ Commentざっと見たが現時点で主要なものはほぼ含まれているのでは、という印象実際のプロンプト例が載っているので、理解しやすいかもしれない。 ... #Article#Tools#NLP#LanguageModel#Library#Evaluation#RetrievalAugmentedGeneration
Issue Date: 2023-10-29 Evaluating RAG Pipelines CommentRAG pipeline （retrieval + generation）を評価するライブラリRagasについて紹介されている。評価に活用される指標は下記で、背後にLLMを活用しているため、大半の指標はラベルデータ不要。ただし、context_recallを測定する場合はreference an ...
#Article#Tools#NLP#LanguageModel#Library#RetrievalAugmentedGeneration
Issue Date: 2023-10-29 LangChainのRAGの改善法, LayerX機械学習勉強会 Comment以下リンクからの引用。LangChainから提供されているRetrieverのcontext抽出の性能改善のためのソリューション> Multi representation indexing：検索に適した文書表現（例えば要約）の作成Query transformation：人間の質問を変換して ... #Article#NLP#LanguageModel#Evaluation
Issue Date: 2023-10-27 日本語LLMのリーダーボード（LLM.jp） CommentLLM.jpによる日本語LLMのリーダーボード。4-shotsでの結果、かつinstructionを与えた場合の生成テキストに対する評価、という点には留意したい。たとえばゼロショットで活用したい、という場合にこのリーダーボードの結果がそのまま再現される保証はないと推察される。#1079 の知見でJG ... #Article#NLP#LanguageModel
Issue Date: 2023-10-25 日本語大規模言語モデル「Japanese Stable LM 3B-4E1T」「Japanese Stable LM Gamma 7B」を公開しました, 2023 #Article#Mindset#Repository
Issue Date: 2023-10-24 CTO handbook #Article#python
Issue Date: 2023-10-17 Loggingモジュールではじめるログ出力入門 Commentライブラリ開発の際は、ライブラリのトップレベルのLoggerにNullHandlerを設定して、詳細設定を呼び出し側に委ねるのがお作法 NullHandlerは何もせずに上位ハンドラに伝搬させるためライブラリ側でやることは、タイミングとメッセージ内容のみloggerを利用するpropagateの仕 ... #Article#Mindset
Issue Date: 2023-09-30 CTOの頭の中：技術を財務で表現する #Article#ComputerVision#NaturalLanguageGeneration#NLP
Issue Date: 2023-08-16 走行動画を説明するLLMを作成し、80台のGPUで分散並列学習させた話 #Article#MachineLearning#Tools#LanguageModel#Finetuning (SFT)#Repository
Issue Date: 2023-07-11 Auto train advanced CommentHugging Face Hub上の任意のLLMに対して、localのカスタムトレーニングデータを使ってfinetuningがワンラインでできる。peftも使える。 ... #Article#GenerativeAI
Issue Date: 2023-07-11 Open Source AI Game Jam, 2023 CommentGenerativeAIを使ってゲームを作る取り組み ... #Article#NLP#LanguageModel#LongSequence
Issue Date: 2023-07-01 How Long Can Open-Source LLMs Truly Promise on Context Length?, 2023 CommentLLMのcontext長を伸ばす際の方法と得られた知見がまとめられている ... #Article#NLP#LanguageModel#Library
Issue Date: 2023-06-25 OpenLLaMA 13B, 2023 CommentそもそもOpenLLaMAには、オリジナルのLLaMAと比較して、tokenizerがスペースを無視するというissueがある模様。スペースの情報がクリティカルなタスク、たとえばcode generationなどには要注意。https://github.com/openlm-research/o ...
#Article#Tutorial#NLP#LanguageModel#Prompting
Issue Date: 2023-05-12 Prompt Engineering vs. Blind Prompting, 2023 Commentexperimentalな手法でprompt engineeringする際のoverview ... #Article#NaturalLanguageGeneration#NLP#LanguageModel#FoundationModel#Programming
Issue Date: 2023-05-06 StarCoderBase_StarCoder, 2023 Comment・15.5Bパラメータ・80種類以上のプログラミング言語で訓練・Multi Query Attentionを利用・context window size 8192・Fill in the middle objectiveを利用Instruction tuningがされておらず、prefipaper: ... #Article#NLP#LanguageModel#Library
Issue Date: 2023-05-06 MPT-7B, 2023 Comment新たなオープンソースLLM。下記ツイートより引用:・商用利用可能・6万5000トークン使用可能・7Bと比較的小さいモデルながら高性能・日本語を扱え性能が高いとのこと。https://twitter.com/imai_eruel/status/1654629078878793729ChatGPTのLL ... #Article#NLP#LanguageModel#ChatGPT
Issue Date: 2023-04-27 HuggingChat, 2023 Commentclosedな世界で開発されるOpenAIのChatGPTに対して、Openなものが必要ということで、huggingfaceが出してきた例のアレです ... #Article#Mindset#DesignPattern
Issue Date: 2023-04-26 More Design Patterns For Machine Learning Systems, 2023 CommentMLのデザインパターンが記述されている ... #Article#A/B Testing
Issue Date: 2023-04-26 Controlled experiments on the web: survey and practical guide, 2023 CommentA/Bテストのベストプラクティスが書かれているらしい ... #Article#Library#python
Issue Date: 2023-01-23 Polars, 2023 Commentpandasより100倍高速で複雑なクエリも見やすく書けてindexも存在しないのでバグも出にくいという優れものらしい ... #Article#Tools#GenerativeAI#Programming
Issue Date: 2023-01-21 CodeGPT: The VSCode Extension with ChatGPT-Like Functionalities CommentVSCodeの拡張で、//から始まるPromptをエディタ上で記載することで対応するコードをGPT3が生成してくれる模様。便利そう ... #Article#ComputerVision#MachineLearning#NLP#Library#Explanation#Transformer
Issue Date: 2022-12-01 Transformers Interpret, 2022 Commenttransformersのモデルをたった2行追加するだけで、explainableにするライブラリ基本的にtextとvisionのclassificationをサポートしている模様text classificationの場合、たとえばinput tokenの各トークンの分類に対する寄与度をou ... #Article#Tools#Infrastructure#MLOps#Repository
Issue Date: 2022-12-01 deploy-API-to-GCP CommentFlaskAPIを（Flaskでなくても良い）Google Cloud Run上で、TerraFormで定義したインフラ環境でデプロイするためのリポジトリ0. リポジトリをclone1. Flaskアプリ作成2. FlaskアプリをDocker化3. TerraFormのStateを保存すCloud ... #Article#Infrastructure#MLOps
Issue Date: 2022-04-27 MLOps: 機械学習における継続的デリバリーと自動化のパイプライン, Google Comment機械学習（ML）システムの継続的インテグレーション（CI）、継続的デリバリー（CD）、継続的トレーニング（CT）の実装と自動化 MLOpsのレベルを0~2で表現しており、各レベルごとに何が達成されるべきかが図解されている。 https://qiita.com/fam_taro/items/df8656a6c3b277f58781 ... #Article#Efficiency/SpeedUp#Library#python
Issue Date: 2021-06-03 intel MKL Commentintel CPUでpythonの数値計算を高速化するライブラリ(numpyとかはやくなるらしい; Anacondaだとデフォルトで入ってるとかなんとか) ...
Issue Date: 2024-11-11 The Surprising Effectiveness of Test-Time Training for Abstract Reasoning, 2024.11 #Article#NLP#AudioProcessing#AutomaticSpeechRecognition(ASR)
Issue Date: 2024-11-07 ほぼリアルタイム！？爆速で動作する日本語特化の文字起こしAI！『kotoba-whisper-v2.0』, 遼介 大堀, 2024.11 Commentwhisper large-v3を蒸留したkotoba-whisper-v1.0に対して、日本語のオーディオデータで追加学習をしたモデル、kotoba-whisper-v2.0を利用するための環境構築方法やコードの例が記述されている。公式によると、whisper-large-v3よりも6.3倍の日本 ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#Quantization
Issue Date: 2024-10-26 Introducing quantized Llama models with increased speed and a reduced memory footprint, Meta, 2024.10 #Article
Issue Date: 2024-10-25 Ilya Sutskever’s Top 30 Reading List #Article#Survey#GenerativeAI
Issue Date: 2024-10-01 生成AIを活用したシステム開発 の現状と展望 - 生成AI時代を見据えたシステム開発に向けて-, 株式会社日本総合研究所 先端技術ラボ, 2024.09 Commentソフトウェア開発で利用され始めている生成AIのプロダクト群と、それらに関連するソースコード生成やテストコード生成、エージェントによる自動システム開発等の研究動向、今後の展望について具体的に記述されている。SIerやITベンダー内では、実際に活用しているところも一部あるようだが、まだ検証や改革の途De ... #Article#Management
Issue Date: 2024-09-30 非プロダクトマネージャーのためのプロダクトマネジメント入門, 神原淳史, 2024.09 Commentプロダクトマネジメントについて初心者向けに書かれた記事。勉強になった。JTBDフレームワークは顧客開発モデルなどでも出てくるので、もう一度復習しておきたい。>When (Situation) I want to (Motivation) So I can (Expected outcome)レベル2 ... #Article#Pocket#API
Issue Date: 2024-09-30 API設計まとめ, KNR109, 2024.02 #Article#Pocket#NLP#LanguageModel#Evaluation#LLM-as-a-Judge
Issue Date: 2024-09-30 Evaluating the Effectiveness of LLM-Evaluators （aka LLM-as-Judge）, 2024.09 CommentLLM-as-a-judgeについて網羅的に書かれた記事 ... #Article#InformationRetrieval#Pocket#NLP#LanguageModel#RetrievalAugmentedGeneration
Issue Date: 2024-09-29 RAGの実装戦略まとめ, Jin Watanabe, 2024.03 #Article#ComputerVision#NLP#LanguageModel#OpenWeightLLM
Issue Date: 2024-09-25 Llama 3.2: Revolutionizing edge AI and vision with open, customizable models, Meta, 2024.09 Comment11Bと90BのVLMと、エッジデバイス向けの1B, 3BのSLMを発表。を使うのが一番お手軽で、inference速度が速そう。PagedAttentionと呼ばれるキャッシュを利用して高速化しているっぽい。 （図はブログ中より引用）  [MLflow](https://mlflow.org/) [Neptune.ai](https://neptune.ai/) [Weights & Biases](https://w ... #Article#ExperimentManagement
Issue Date: 2024-07-09 5行でカッコいい可視化を「WandB」入門 #Article#Tutorial#Pretraining#NLP#LanguageModel
Issue Date: 2024-07-08 GENIAC: 172B 事前学習知見, 2024 CommentLLMの事前学習における知見がまとまっている記事とのこと・Megatron LMで学習 → 3D Parallelismなどの分散学習手法によりHF Trainerより高速 → Data Parallelim、Tensor Parallelism、 Pipeline Parallelismを組み合わ ... #Article#RecommenderSystems#Tutorial
Issue Date: 2024-04-26 推薦・機械学習勉強会, Wantedly CommentWantedlyさんのRecSys勉強会の資料がまとまったリポジトリ。継続的に更新されており、最近この辺のトピックは追いきれていないので非常に有用。 ... #Article#Pretraining#Finetuning (SFT)
Issue Date: 2024-04-26 The End of Finetuning — with Jeremy Howard of Fast.ai, 2023.11 #Article
Issue Date: 2024-04-21 「ビジネスロジック」とは何か、どう実装するのか Comment普段あいまいに使いがちなビジネスロジックについて、勉強になった。 プレゼンテーション層：ユーザからのI/Oのインタフェースに関する処理を実装 データアクセス層：ファイルやDBに対してデータを読み書き 本記事によると上記以外が「ビジネスロジック」という整理。 たとえば、じゃんけんの ... #Article#Pocket#LanguageModel#MultiLingual
Issue Date: 2024-04-12 The State of Multilingual AI, Sebastian Ruder, 2024 #Article
Issue Date: 2024-04-08 Chat with RTX, NVIDIA #Article#Pocket#LanguageModel
Issue Date: 2024-04-02 Mamba Explained #Article
Issue Date: 2024-03-31 IT契約入門〜雇用契約、請負契約から準委任まで #Article
Issue Date: 2024-03-21 生産性指標をFour Keysから変更した話, SanSan Tech Blog Commentモバイルアプリ開発における生産性指標に関するお話。Four Keysをモバイルアプリに適用した場合の課題を分析し、自チームの中長期的な目標を達成するためにどのような生産性指標を採用すべきかが言語化されており、興味深かった。Four Keysとは: https://blog.recruit.co. ... #Article#NLP#LanguageModel
Issue Date: 2024-03-18 Open Release of Grok-1 March 17, 2024 CommentApache2.0ライセンス, 314Bパラメータでモデルの重み、Mixture-of-Expertsを採用している。学習データ、学習に利用したコードはおそらく公開されていない。Grok-1.5がリリースhttps://x.ai/blog/grok-1.5各種ベンチマークの性能、特にMathの性能が ...
Issue Date: 2024-03-05 RAG-Research-Insights CommentRAGに関する研究が直近のものまでよくまとめられている ... #Article#Survey#NLP#LanguageModel
Issue Date: 2024-03-04 What are the most important LLMs to know about in March 2024? Comment2024年3月時点で知っておくべきLLMに関するスレッド ... #Article#Tutorial#Survey#InformationRetrieval#LanguageModel
Issue Date: 2024-02-22 awesome-generative-information-retrieval #Article#NLP#InformationExtraction
Issue Date: 2024-01-16 LLMにおける情報抽出（文章から必要な事柄を読み取る）タスクについての調査, AIDB #Article#NaturalLanguageGeneration#NLP#LanguageModel
Issue Date: 2024-01-01 Decoding Strategies that You Need to Know for Response Generation Comment言語モデルのdecodingの方法についてよくまとまっている。まとめられているdecoding方法は以下 Greedy, BeamSearch, RandomSampling, Temperature, Top-K Sampling, Nucleus Samplingこちらの記事ではHuggingF ... #Article#InformationRetrieval#NLP#RetrievalAugmentedGeneration
Issue Date: 2023-12-21 Structured Hierarchical Retrieval, llama-index Comment元ツイート: https://x.com/llama_index/status/1737515390664872040?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article#InformationRetrieval#RetrievalAugmentedGeneration
Issue Date: 2023-12-21 Build a search engine, not a vector DB #Article#LanguageModel
Issue Date: 2023-12-20 ELYZA-tasks-100 でLLM14個の日本語性能を横断評価してみた #Article#LanguageModel
Issue Date: 2023-12-13 大規模モデルを支える分散並列学習のしくみ Part1 #Article#LanguageModel
Issue Date: 2023-12-05 もし明日、上司に「GPT-4を作れ」と言われたら？ Stability AIのシニアリサーチサイエンティストが紹介する「LLM構築タイムアタック」 CommentStabilityAI Japan秋葉さん（元PFN）のW&B Conferenceでの発表に関する記事。LLM構築タイムアタックでLLMをもし構築することになったら！？のざっくりとしたプロセスや、次ページでOpenAIのGPT4のテクニカルレポートのクレジットから各チームの規模感を推定して、ど ... #Article#InformationRetrieval#NLP#LanguageModel#RetrievalAugmentedGeneration
Issue Date: 2023-12-04 kaggle LLM コンペ 上位解法を自分なりにまとめてみた話 Comment実践的な内容（チャンク生成時の工夫、クエリ生成時の工夫等）が網羅的にまとまっており非常に有用個人的に、コンペ主催者側から提供されたデータが少なく、上位のほとんどのチームがChatGPT（3.5, 4）を用いて、QAデータを生成していた、というのが興味深かった。プロンプトはたとえば下記: [（5th- ... #Article#Mindset
Issue Date: 2023-12-04 PMConf2023: シリコンバレーのプロダクトマネージャー達に見る、 覚悟を決めたPMは何が違うのか？ Comment視野、視座の話、StepChange、PMとして何に注力すべきか、クリティカルシンキング、Overcommunicationなどの考え方が参考になった。結局どれだけ収益に繋がるのかという話。ユーザに価値を届けられて満足、で終わってはいけない。 ... #Article#Tutorial#RetrievalAugmentedGeneration
Issue Date: 2023-11-22 Deconstructing RAG CommentRAGにおける様々な戦略がまとまっている（リンク付き ... #Article
Issue Date: 2023-11-21 AWS FargateではなくECS on EC2を選ぶメリット〜コスト編〜 Comment安く済ませたい・・・ ... #Article#NLP#LanguageModel#Evaluation#RetrievalAugmentedGeneration
Issue Date: 2023-11-21 Zephyr-7B-beta, RAG Perf. CommentZephyr-7B-betaのRAGでの性能がデータセットで評価されている下記Xポストによるとgpt-3.5-turboと同等https://x.com/rungalileo/status/1726638537767051436?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article#Adapter/LoRA
Issue Date: 2023-11-20 Practical Tips for Finetuning LLMs Using LoRA （Low-Rank Adaptation） #Article#GenerativeAI
Issue Date: 2023-11-17 生成系 AI でプロダクトの価値を高めるには, 2023 CommentAWS久保さんの資料。後で読む ... #Article#NLP#RetrievalAugmentedGeneration
Issue Date: 2023-11-15 ChatGPTに社内文書に基づいた回答を生成させる仕組みを構築しました, 2023 Comment低コストで社内文書に対するRAGを実現することに注力している。以下、図はブログから引用。基本的にはバッチジョブで社内文書をベクトル化しS3へ格納。アプリ起動時にS3から最新データを読み込み検索可能にしRAGするという流れ。低コスト化のために、Embedding作成にOpenSourceの特に日本語テ ...
Issue Date: 2023-11-13 Transformers.js, 2023 Commentブラウザ上でTransformerベースの様々なモデルを動作させることができるライブラリ ... #Article#Pocket#RetrievalAugmentedGeneration
Issue Date: 2023-11-13 Boosting RAG: Picking the Best Embedding & Reranker models #Article#Survey#NaturalLanguageGeneration#NLP#Dataset#DataToTextGeneration
Issue Date: 2023-11-08 Data-to-Text Datasetまとめ, 2022 CommentData-to-Textのデータセットを自分用に調べていたのですが、せっかくなのでスライドにまとめてみました。特にMR-to-Text, Table-to-Textあたりは網羅的にサーベイし、データセットの概要を紹介しているので、全体像を把握するのに良いのかなぁと思います。ただし、2022年12月時 ... #Article#Tutorial#NLP#LanguageModel#Alignment#GenerativeAI#Hallucination
Issue Date: 2023-11-03 生成AIが抱えるリスクと対策, LYCorp‘23 Commentこの資料をスタートにReferしている論文などを勉強すると、GenerativeAIのリスク周りに詳しくなれそう。この辺は疎いので勉強になる。しかし、LLMのAlignmentが不十分だったり、Hallucinationを100%防ぐことは原理的に不可能だと思われるので、この辺とどう付き合っていく ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#MulltiModal#FoundationModel
Issue Date: 2023-11-01 tsuzumi, NTT’23 CommentNTT製のLLM。パラメータ数は7Bと軽量だが高性能。MTBenchのようなGPT4に勝敗を判定させるベンチマークで、地理、歴史、政治、社会に関する質問応答タスク（図6）でgpt3.5turboと同等、国産LLMの中でトップの性能。GPT3.5turboには、コーディングや数学などの能力では劣るとt ...
Issue Date: 2023-10-29 大規模言語モデルにおいて､「知識は全結合層に蓄積される」という仮説についての文献調査 Commentタイトルの通り、知識がFFNに蓄積されていると主張しているらしい原論文を読み解いている。まとめを引用すると> 「知識は全結合層に蓄積される」という表現は､ややラジカルで､少なくともこの論文では「全結合層は知識獲得において重要」という程度の､もう少しマイルドな主張をしているように見受けられまし ... #Article#NeuralNetwork#ComputerVision#Efficiency/SpeedUp#NLP#LanguageModel#DiffusionModel
Issue Date: 2023-10-29 StableDiffusion, LLMのGPUメモリ削減のあれこれ CommentGradient Accumulation, Gradient Checkpointingの説明が丁寧でわかりやすかった。 ... #Article#NLP#LanguageModel#Prompting
Issue Date: 2023-10-29 LLMのプロンプト技術まとめ Commentざっと見たが現時点で主要なものはほぼ含まれているのでは、という印象実際のプロンプト例が載っているので、理解しやすいかもしれない。 ... #Article#Tools#NLP#LanguageModel#Library#Evaluation#RetrievalAugmentedGeneration
Issue Date: 2023-10-29 Evaluating RAG Pipelines CommentRAG pipeline （retrieval + generation）を評価するライブラリRagasについて紹介されている。評価に活用される指標は下記で、背後にLLMを活用しているため、大半の指標はラベルデータ不要。ただし、context_recallを測定する場合はreference an ...
Issue Date: 2023-10-29 LangChainのRAGの改善法, LayerX機械学習勉強会 Comment以下リンクからの引用。LangChainから提供されているRetrieverのcontext抽出の性能改善のためのソリューション> Multi representation indexing：検索に適した文書表現（例えば要約）の作成Query transformation：人間の質問を変換して ... #Article#NLP#LanguageModel#Evaluation
Issue Date: 2023-10-27 日本語LLMのリーダーボード（LLM.jp） CommentLLM.jpによる日本語LLMのリーダーボード。4-shotsでの結果、かつinstructionを与えた場合の生成テキストに対する評価、という点には留意したい。たとえばゼロショットで活用したい、という場合にこのリーダーボードの結果がそのまま再現される保証はないと推察される。#1079 の知見でJG ... #Article#NLP#LanguageModel
Issue Date: 2023-10-25 日本語大規模言語モデル「Japanese Stable LM 3B-4E1T」「Japanese Stable LM Gamma 7B」を公開しました, 2023 #Article#Mindset#Repository
Issue Date: 2023-10-24 CTO handbook #Article#python
Issue Date: 2023-10-17 Loggingモジュールではじめるログ出力入門 Commentライブラリ開発の際は、ライブラリのトップレベルのLoggerにNullHandlerを設定して、詳細設定を呼び出し側に委ねるのがお作法 NullHandlerは何もせずに上位ハンドラに伝搬させるためライブラリ側でやることは、タイミングとメッセージ内容のみloggerを利用するpropagateの仕 ... #Article#Mindset
Issue Date: 2023-09-30 CTOの頭の中：技術を財務で表現する #Article#ComputerVision#NaturalLanguageGeneration#NLP
Issue Date: 2023-08-16 走行動画を説明するLLMを作成し、80台のGPUで分散並列学習させた話 #Article#MachineLearning#Tools#LanguageModel#Finetuning (SFT)#Repository
Issue Date: 2023-07-11 Auto train advanced CommentHugging Face Hub上の任意のLLMに対して、localのカスタムトレーニングデータを使ってfinetuningがワンラインでできる。peftも使える。 ... #Article#GenerativeAI
Issue Date: 2023-07-11 Open Source AI Game Jam, 2023 CommentGenerativeAIを使ってゲームを作る取り組み ... #Article#NLP#LanguageModel#LongSequence
Issue Date: 2023-07-01 How Long Can Open-Source LLMs Truly Promise on Context Length?, 2023 CommentLLMのcontext長を伸ばす際の方法と得られた知見がまとめられている ... #Article#NLP#LanguageModel#Library
Issue Date: 2023-06-25 OpenLLaMA 13B, 2023 CommentそもそもOpenLLaMAには、オリジナルのLLaMAと比較して、tokenizerがスペースを無視するというissueがある模様。スペースの情報がクリティカルなタスク、たとえばcode generationなどには要注意。https://github.com/openlm-research/o ...
Issue Date: 2023-05-12 Prompt Engineering vs. Blind Prompting, 2023 Commentexperimentalな手法でprompt engineeringする際のoverview ... #Article#NaturalLanguageGeneration#NLP#LanguageModel#FoundationModel#Programming
Issue Date: 2023-05-06 StarCoderBase_StarCoder, 2023 Comment・15.5Bパラメータ・80種類以上のプログラミング言語で訓練・Multi Query Attentionを利用・context window size 8192・Fill in the middle objectiveを利用Instruction tuningがされておらず、prefipaper: ... #Article#NLP#LanguageModel#Library
Issue Date: 2023-05-06 MPT-7B, 2023 Comment新たなオープンソースLLM。下記ツイートより引用:・商用利用可能・6万5000トークン使用可能・7Bと比較的小さいモデルながら高性能・日本語を扱え性能が高いとのこと。https://twitter.com/imai_eruel/status/1654629078878793729ChatGPTのLL ... #Article#NLP#LanguageModel#ChatGPT
Issue Date: 2023-04-27 HuggingChat, 2023 Commentclosedな世界で開発されるOpenAIのChatGPTに対して、Openなものが必要ということで、huggingfaceが出してきた例のアレです ... #Article#Mindset#DesignPattern
Issue Date: 2023-04-26 More Design Patterns For Machine Learning Systems, 2023 CommentMLのデザインパターンが記述されている ... #Article#A/B Testing
Issue Date: 2023-04-26 Controlled experiments on the web: survey and practical guide, 2023 CommentA/Bテストのベストプラクティスが書かれているらしい ... #Article#Library#python
Issue Date: 2023-01-23 Polars, 2023 Commentpandasより100倍高速で複雑なクエリも見やすく書けてindexも存在しないのでバグも出にくいという優れものらしい ... #Article#Tools#GenerativeAI#Programming
Issue Date: 2023-01-21 CodeGPT: The VSCode Extension with ChatGPT-Like Functionalities CommentVSCodeの拡張で、//から始まるPromptをエディタ上で記載することで対応するコードをGPT3が生成してくれる模様。便利そう ... #Article#ComputerVision#MachineLearning#NLP#Library#Explanation#Transformer
Issue Date: 2022-12-01 Transformers Interpret, 2022 Commenttransformersのモデルをたった2行追加するだけで、explainableにするライブラリ基本的にtextとvisionのclassificationをサポートしている模様text classificationの場合、たとえばinput tokenの各トークンの分類に対する寄与度をou ... #Article#Tools#Infrastructure#MLOps#Repository
Issue Date: 2022-12-01 deploy-API-to-GCP CommentFlaskAPIを（Flaskでなくても良い）Google Cloud Run上で、TerraFormで定義したインフラ環境でデプロイするためのリポジトリ0. リポジトリをclone1. Flaskアプリ作成2. FlaskアプリをDocker化3. TerraFormのStateを保存すCloud ... #Article#Infrastructure#MLOps
Issue Date: 2022-04-27 MLOps: 機械学習における継続的デリバリーと自動化のパイプライン, Google Comment機械学習（ML）システムの継続的インテグレーション（CI）、継続的デリバリー（CD）、継続的トレーニング（CT）の実装と自動化 MLOpsのレベルを0~2で表現しており、各レベルごとに何が達成されるべきかが図解されている。 https://qiita.com/fam_taro/items/df8656a6c3b277f58781 ... #Article#Efficiency/SpeedUp#Library#python
Issue Date: 2021-06-03 intel MKL Commentintel CPUでpythonの数値計算を高速化するライブラリ(numpyとかはやくなるらしい; Anacondaだとデフォルトで入ってるとかなんとか) ...