Repository
#Article#NLP#LanguageModel#OpenSource
Issue Date: 2025-01-26 Open R1, HuggingFace, 2025.01 CommentHFによるDeepSeekR1を完全に再現する取り組みUpdate1: https://huggingface.co/blog/open-r1/update-1Update2: https://huggingface.co/blog/open-r1/update-2512機のH100を利用…Upda ... #Article#NLP#Dataset#LanguageModel#Finetuning (SFT)
Issue Date: 2025-01-25 LLM Datasets, mlabonne, 2025.01 CommentLLMの事後学習用のデータをまとめたリポジトリ ... #Article#Tutorial#InformationRetrieval#NLP#RAG(RetrievalAugmentedGeneration)
Issue Date: 2025-01-05 Advanced RAG Techniques: Elevating Your Retrieval-Augmented Generation Systems, NirDiamant, 2025.01 Comment元ポスト:https://x.com/rohanpaul_ai/status/1875447223682748750?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QRAGのための細かなテクニックが（コードのサンプルへのリンク付きで）大量にまとまっている。かなり頻繁に更新れているようで非常 ...
Issue Date: 2025-01-26 Open R1, HuggingFace, 2025.01 CommentHFによるDeepSeekR1を完全に再現する取り組みUpdate1: https://huggingface.co/blog/open-r1/update-1Update2: https://huggingface.co/blog/open-r1/update-2512機のH100を利用…Upda ... #Article#NLP#Dataset#LanguageModel#Finetuning (SFT)
Issue Date: 2025-01-25 LLM Datasets, mlabonne, 2025.01 CommentLLMの事後学習用のデータをまとめたリポジトリ ... #Article#Tutorial#InformationRetrieval#NLP#RAG(RetrievalAugmentedGeneration)
Issue Date: 2025-01-05 Advanced RAG Techniques: Elevating Your Retrieval-Augmented Generation Systems, NirDiamant, 2025.01 Comment元ポスト:https://x.com/rohanpaul_ai/status/1875447223682748750?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QRAGのための細かなテクニックが（コードのサンプルへのリンク付きで）大量にまとまっている。かなり頻繁に更新れているようで非常 ...
#Article#NLP#LanguageModel#Library#python#API
Issue Date: 2025-01-03 LiteLLM, BerriAI, 2023.08 Comment様々なLLMのAPIを共通のインタフェースで呼び出せるライブラリ#1553 とどちらがいいんだ・・・？aisuiteのissueの113番のスレッドを見ると、 LiteLLMはもはやLiteではなくなっており、コードベースの保守性が低い aisuiteは複数のLLMプロバイダーをシンプルに利用す ... #Article#Embeddings#Word#Library
Issue Date: 2024-12-28 floret, explosion, 2021 Commentfasttextを拡張したもの。本家fasttextがアーカイブ化してしまったので、代替手段に良さそう。元ポスト:https://x.com/fukkaa1225/status/1872222983772938551?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article#GenerativeAI
Issue Date: 2024-12-20 Genesis, Genesis-Embodied-AI, 2024.12 Comment新たな物理AIエンジン。デモ動画がすごいhttps://genesis-embodied-ai.github.io参考: https://www.linkedin.com/posts/philipp-schmid-a6a2bb196_wtf-new-open-source-physics-ai-en ... #Article#Tutorial#GenerativeAI
Issue Date: 2024-12-12 GoogleCloudPlatform_generative-ai, Google, 2024.12 CommentGoogle Cloudで生成AI（Gemini+Vertex AI）を動かすためのサンプルコード集元ポスト:https://x.com/kazunori_279/status/1866975767869231547?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article#Survey#NLP#Dataset#LanguageModel#Evaluation#OpenWeightLLM#Japanese#OpenSource
Issue Date: 2024-12-02 日本語LLMまとめ, LLM-jp, 2024.12 CommentLLM-jpによる日本語LLM（Encoder-Decoder系, BERT系, Bi-Encoders, Cross-Encodersを含む）のまとめ。テキスト生成に使うモデル、入力テキスト処理に使うモデル、Embedding作成に特化したモデル、視覚言語モデル、音声言語モデル、日本語LLM評価 ... #Article#Survey#NLP#LanguageModel#SelfCorrection
Issue Date: 2024-11-30 LLM Self-Correction Papers, Ryo Kamoi, 2024.11 Commentself-correctionの専門家によるself-correction関連の論文のリーディングリスト。ぜひチェックしたい。元ポスト: https://x.com/ryokamoi_ja/status/1862635105010799054?s=46&t=Y6UuIHB0Lv0IpmFAjlc ... #Article#NLP#LanguageModel#Library#python#API
Issue Date: 2024-11-28 aisuite, andrewyng, 2024.11 Comment複数のLLM Providerの呼び出しを共通のインタフェースで呼び出せる。変更するのは、モデルを指定するパラメータのみ。元ポスト:https://www.linkedin.com/posts/andrewyng_announcing-new-open-source-python-package ... #Article#ComputerVision#Library
Issue Date: 2024-11-27 YomiToku, Kotaro Kinoshita, 2024.11 CommentいわゆるAI-OCRで、縦書きの認識も可能で、表などの構造化された情報も認識可能とのこと。手書きは認識できるのだろうか?CC BY-NC-SA 4.0元ツイート:https://x.com/kinocoai/status/1861386062175838303?s=46&t=Y6UuIHB0Lv0I ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#Library
Issue Date: 2024-11-05 Lingua, Meta Comment研究目的のための、minimal、かつ高速なLLM training/inferenceのコードが格納されたリポジトリ。独自のモデルやデータ、ロスなどが簡単に実装できる模様。 ... #Article#Pocket#NLP#QuestionAnswering#LLMAgent#GenerativeAI#RAG(RetrievalAugmentedGeneration)
Issue Date: 2024-09-11 PaperQA2, 2023.02 Comment元ポスト: https://x.com/sgrodriques/status/1833908643856818443?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article#Tutorial#ComputerVision#MachineLearning#NLP#LanguageModel
Issue Date: 2024-09-07 ml-engineering CommentLLMやVLMを学習するためのツールやノウハウがまとめられたリポジトリ ... #Article#NLP#LanguageModel#Library#LLMServing
Issue Date: 2024-08-31 NanoFlow, 2024.08 CommentvLLMよりも2倍程度高速なLLM serving framework。オフライン評価オンラインでのlatenc元ポスト: ... #Article#Dataset#LanguageModel
Issue Date: 2024-08-30 Firecrawl, 2024.09 CommentsitemapなしでWebサイト全体をクローリングできるAPI。LLMで利用可能なマークダウンや、構造化データに変換もしてくれる模様。 ... #Article#RAG(RetrievalAugmentedGeneration)
Issue Date: 2024-08-29 kotaemon, 2024.05 CommentRAGのための美しいユーザと開発者向けのUI。カスタマイズも可能らしい ... #Article#MachineLearning#Library#API
Issue Date: 2024-08-25 LitServe, 2024.04 CommentFastAPIより2倍早いAPIライブラリ。LLMやVisionなど多くのモーダルに対応し、マルチワーカーでオートスケーリングやバッチングやストリーミングにも対応。PyTorchモデルだけでなく、JAXなど様々なフレームワークのモデルをデプロイ可能元ツイート:https://x.com/_will画 ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#Finetuning (SFT)
Issue Date: 2024-08-25 Liger-Kernel, 2024.08 CommentLLMを学習する時に、ワンライン追加するだけで、マルチGPUトレーニングのスループットを20%改善し、メモリ使用量を60%削減するらしい元ツイート:https://x.com/hsu_byron/status/1827072737673982056?s=46&t=Y6UuIHB0Lv0IpmFAこれ ... #Article#RecommenderSystems#Survey#Library
Issue Date: 2024-08-07 list of recommender systems Comment推薦システムに関するSaaS, OpenSource, Datasetなどがまとめられているリポジトリ ... #Article#NaturalLanguageGeneration#NLP#LanguageModel#LLMAgent
Issue Date: 2024-07-04 OpenDevin: Code Less, Make More, 2024 CommentLLMによるOpenSourceなソフトウェア生成エージェントプラットフォームfull timeのスタッフを雇用しworldクラスのUXを目指すとのこと。楽しみ。参考: https://x.com/gneubig/status/1808493521315496229?s=46&t=Y6UuIHB0L ... #Article#LanguageModel#Library
Issue Date: 2024-04-29 mergekit-evolve Comment#1257 のように進化的アルゴリズムでモデルマージができるライブラリ解説記事:https://note.com/npaka/n/nad2ff954ab81大きなVRAMが無くとも、大きめのSRAMがあれば動作するらしい ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#Library
Issue Date: 2024-04-28 AirLLM, 2024.04 Comment4GBのSingle GPUで、70Bモデルのinferenceを実現できるライブラリ。トークンの生成速度は検証する必要がある。transformer decoderの各layerの演算は独立しているため、GPUに全てのlayerを載せず、必要な分だけ載せてinferenceするといった操作を繰り返 ... #Article#RecommenderSystems#Library
Issue Date: 2024-01-15 Recommenders Comment古典的な手法から、Deepな手法まで非常に幅広く網羅された推薦アルゴリズムのフレームワーク。元々Microsoft配下だった模様。現在もメンテナンスが続いており、良さそう ... #Article#Efficiency/SpeedUp#Tools#NLP#LanguageModel
Issue Date: 2023-11-21 GPT4All, 2023 CommentローカルマシンでChatGPT likeなUIでチャットボットを動作させられるOpensource。Mistral7BやGGUFフォーマットのモデルのよつな（おそらく量子化されたものも含む）ローカルマシンで動作させられる規模感のモデルがサポートされている。https://gpt4all.io/i ... #Article#NLP#LanguageModel#Library#Finetuning (SFT)
Issue Date: 2023-11-14 LLaMA-Factory, 2023 Comment簡単に利用できるLLaMAのfinetuning frameworkとのこと。元ツイート: https://x.com/_akhaliq/status/1724456693378040195?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QLLaMAベースなモデルなら色々対応している模様 ... #Article#NLP#LanguageModel#Hallucination
Issue Date: 2023-11-14 Hallucination Leaderboard, 2023 Comment1000個の短いドキュメントに対して、事実情報のみを用いて要約を生成させ、要約結果と原文書のFactual consistencyを別に訓練したモデルで測定して評価してリーダーボードを作成している。Claude2よりLLaMA2の方が性能が良いのが面白いし、Palmの性能があまり良くない。元ツイート ... #Article#Mindset#Article
Issue Date: 2023-10-24 CTO handbook #Article#NLP#LanguageModel
Issue Date: 2023-10-09 MentalLLaMA, 2023 Commentメンタルヘルスの分析に対してinstruction tuningしたはじめてのLLM ... #Article#MachineLearning#Tools#LanguageModel#Finetuning (SFT)#Article
Issue Date: 2023-07-11 Auto train advanced CommentHugging Face Hub上の任意のLLMに対して、localのカスタムトレーニングデータを使ってfinetuningがワンラインでできる。peftも使える。 ... #Article#NLP#LanguageModel#Library#FoundationModel
Issue Date: 2023-05-08 OpenSource PaLM, 2023 Comment150m,410m,1bのモデルがある。Googleの540bには遠く及ばないし、emergent abilityも期待できないパラメータ数だが、どの程度の性能なのだろうか。 ... #Article#Embeddings#InformationRetrieval#SearchEngine#Library
Issue Date: 2023-04-27 Awesome Vector Search Engine Commentベクトルの類似度を測るサービスやライブラリ等がまとまったリポジトリ ... #Article#NLP#Library#DataAugmentation
Issue Date: 2023-01-21 nlpaug CommentData Augmentationのためのオープンソースライブラリ ... #Article#Tools#Infrastructure#MLOps#Article
Issue Date: 2022-12-01 deploy-API-to-GCP CommentFlaskAPIを（Flaskでなくても良い）Google Cloud Run上で、TerraFormで定義したインフラ環境でデプロイするためのリポジトリ0. リポジトリをclone1. Flaskアプリ作成2. FlaskアプリをDocker化3. TerraFormのStateを保存すCloud ... #Article#Embeddings#MachineLearning#Tools#Library#KnowledgeGraph
Issue Date: 2021-06-10 OpenKE, 2021 CommentWikipedia, Freebase等のデータからKnowledge Embeddingを学習できるオープンソースのライブラリ ...
Issue Date: 2025-01-03 LiteLLM, BerriAI, 2023.08 Comment様々なLLMのAPIを共通のインタフェースで呼び出せるライブラリ#1553 とどちらがいいんだ・・・？aisuiteのissueの113番のスレッドを見ると、 LiteLLMはもはやLiteではなくなっており、コードベースの保守性が低い aisuiteは複数のLLMプロバイダーをシンプルに利用す ... #Article#Embeddings#Word#Library
Issue Date: 2024-12-28 floret, explosion, 2021 Commentfasttextを拡張したもの。本家fasttextがアーカイブ化してしまったので、代替手段に良さそう。元ポスト:https://x.com/fukkaa1225/status/1872222983772938551?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article#GenerativeAI
Issue Date: 2024-12-20 Genesis, Genesis-Embodied-AI, 2024.12 Comment新たな物理AIエンジン。デモ動画がすごいhttps://genesis-embodied-ai.github.io参考: https://www.linkedin.com/posts/philipp-schmid-a6a2bb196_wtf-new-open-source-physics-ai-en ... #Article#Tutorial#GenerativeAI
Issue Date: 2024-12-12 GoogleCloudPlatform_generative-ai, Google, 2024.12 CommentGoogle Cloudで生成AI（Gemini+Vertex AI）を動かすためのサンプルコード集元ポスト:https://x.com/kazunori_279/status/1866975767869231547?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article#Survey#NLP#Dataset#LanguageModel#Evaluation#OpenWeightLLM#Japanese#OpenSource
Issue Date: 2024-12-02 日本語LLMまとめ, LLM-jp, 2024.12 CommentLLM-jpによる日本語LLM（Encoder-Decoder系, BERT系, Bi-Encoders, Cross-Encodersを含む）のまとめ。テキスト生成に使うモデル、入力テキスト処理に使うモデル、Embedding作成に特化したモデル、視覚言語モデル、音声言語モデル、日本語LLM評価 ... #Article#Survey#NLP#LanguageModel#SelfCorrection
Issue Date: 2024-11-30 LLM Self-Correction Papers, Ryo Kamoi, 2024.11 Commentself-correctionの専門家によるself-correction関連の論文のリーディングリスト。ぜひチェックしたい。元ポスト: https://x.com/ryokamoi_ja/status/1862635105010799054?s=46&t=Y6UuIHB0Lv0IpmFAjlc ... #Article#NLP#LanguageModel#Library#python#API
Issue Date: 2024-11-28 aisuite, andrewyng, 2024.11 Comment複数のLLM Providerの呼び出しを共通のインタフェースで呼び出せる。変更するのは、モデルを指定するパラメータのみ。元ポスト:https://www.linkedin.com/posts/andrewyng_announcing-new-open-source-python-package ... #Article#ComputerVision#Library
Issue Date: 2024-11-27 YomiToku, Kotaro Kinoshita, 2024.11 CommentいわゆるAI-OCRで、縦書きの認識も可能で、表などの構造化された情報も認識可能とのこと。手書きは認識できるのだろうか?CC BY-NC-SA 4.0元ツイート:https://x.com/kinocoai/status/1861386062175838303?s=46&t=Y6UuIHB0Lv0I ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#Library
Issue Date: 2024-11-05 Lingua, Meta Comment研究目的のための、minimal、かつ高速なLLM training/inferenceのコードが格納されたリポジトリ。独自のモデルやデータ、ロスなどが簡単に実装できる模様。 ... #Article#Pocket#NLP#QuestionAnswering#LLMAgent#GenerativeAI#RAG(RetrievalAugmentedGeneration)
Issue Date: 2024-09-11 PaperQA2, 2023.02 Comment元ポスト: https://x.com/sgrodriques/status/1833908643856818443?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Article#Tutorial#ComputerVision#MachineLearning#NLP#LanguageModel
Issue Date: 2024-09-07 ml-engineering CommentLLMやVLMを学習するためのツールやノウハウがまとめられたリポジトリ ... #Article#NLP#LanguageModel#Library#LLMServing
Issue Date: 2024-08-31 NanoFlow, 2024.08 CommentvLLMよりも2倍程度高速なLLM serving framework。オフライン評価オンラインでのlatenc元ポスト: ... #Article#Dataset#LanguageModel
Issue Date: 2024-08-30 Firecrawl, 2024.09 CommentsitemapなしでWebサイト全体をクローリングできるAPI。LLMで利用可能なマークダウンや、構造化データに変換もしてくれる模様。 ... #Article#RAG(RetrievalAugmentedGeneration)
Issue Date: 2024-08-29 kotaemon, 2024.05 CommentRAGのための美しいユーザと開発者向けのUI。カスタマイズも可能らしい ... #Article#MachineLearning#Library#API
Issue Date: 2024-08-25 LitServe, 2024.04 CommentFastAPIより2倍早いAPIライブラリ。LLMやVisionなど多くのモーダルに対応し、マルチワーカーでオートスケーリングやバッチングやストリーミングにも対応。PyTorchモデルだけでなく、JAXなど様々なフレームワークのモデルをデプロイ可能元ツイート:https://x.com/_will画 ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#Finetuning (SFT)
Issue Date: 2024-08-25 Liger-Kernel, 2024.08 CommentLLMを学習する時に、ワンライン追加するだけで、マルチGPUトレーニングのスループットを20%改善し、メモリ使用量を60%削減するらしい元ツイート:https://x.com/hsu_byron/status/1827072737673982056?s=46&t=Y6UuIHB0Lv0IpmFAこれ ... #Article#RecommenderSystems#Survey#Library
Issue Date: 2024-08-07 list of recommender systems Comment推薦システムに関するSaaS, OpenSource, Datasetなどがまとめられているリポジトリ ... #Article#NaturalLanguageGeneration#NLP#LanguageModel#LLMAgent
Issue Date: 2024-07-04 OpenDevin: Code Less, Make More, 2024 CommentLLMによるOpenSourceなソフトウェア生成エージェントプラットフォームfull timeのスタッフを雇用しworldクラスのUXを目指すとのこと。楽しみ。参考: https://x.com/gneubig/status/1808493521315496229?s=46&t=Y6UuIHB0L ... #Article#LanguageModel#Library
Issue Date: 2024-04-29 mergekit-evolve Comment#1257 のように進化的アルゴリズムでモデルマージができるライブラリ解説記事:https://note.com/npaka/n/nad2ff954ab81大きなVRAMが無くとも、大きめのSRAMがあれば動作するらしい ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#Library
Issue Date: 2024-04-28 AirLLM, 2024.04 Comment4GBのSingle GPUで、70Bモデルのinferenceを実現できるライブラリ。トークンの生成速度は検証する必要がある。transformer decoderの各layerの演算は独立しているため、GPUに全てのlayerを載せず、必要な分だけ載せてinferenceするといった操作を繰り返 ... #Article#RecommenderSystems#Library
Issue Date: 2024-01-15 Recommenders Comment古典的な手法から、Deepな手法まで非常に幅広く網羅された推薦アルゴリズムのフレームワーク。元々Microsoft配下だった模様。現在もメンテナンスが続いており、良さそう ... #Article#Efficiency/SpeedUp#Tools#NLP#LanguageModel
Issue Date: 2023-11-21 GPT4All, 2023 CommentローカルマシンでChatGPT likeなUIでチャットボットを動作させられるOpensource。Mistral7BやGGUFフォーマットのモデルのよつな（おそらく量子化されたものも含む）ローカルマシンで動作させられる規模感のモデルがサポートされている。https://gpt4all.io/i ... #Article#NLP#LanguageModel#Library#Finetuning (SFT)
Issue Date: 2023-11-14 LLaMA-Factory, 2023 Comment簡単に利用できるLLaMAのfinetuning frameworkとのこと。元ツイート: https://x.com/_akhaliq/status/1724456693378040195?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QLLaMAベースなモデルなら色々対応している模様 ... #Article#NLP#LanguageModel#Hallucination
Issue Date: 2023-11-14 Hallucination Leaderboard, 2023 Comment1000個の短いドキュメントに対して、事実情報のみを用いて要約を生成させ、要約結果と原文書のFactual consistencyを別に訓練したモデルで測定して評価してリーダーボードを作成している。Claude2よりLLaMA2の方が性能が良いのが面白いし、Palmの性能があまり良くない。元ツイート ... #Article#Mindset#Article
Issue Date: 2023-10-24 CTO handbook #Article#NLP#LanguageModel
Issue Date: 2023-10-09 MentalLLaMA, 2023 Commentメンタルヘルスの分析に対してinstruction tuningしたはじめてのLLM ... #Article#MachineLearning#Tools#LanguageModel#Finetuning (SFT)#Article
Issue Date: 2023-07-11 Auto train advanced CommentHugging Face Hub上の任意のLLMに対して、localのカスタムトレーニングデータを使ってfinetuningがワンラインでできる。peftも使える。 ... #Article#NLP#LanguageModel#Library#FoundationModel
Issue Date: 2023-05-08 OpenSource PaLM, 2023 Comment150m,410m,1bのモデルがある。Googleの540bには遠く及ばないし、emergent abilityも期待できないパラメータ数だが、どの程度の性能なのだろうか。 ... #Article#Embeddings#InformationRetrieval#SearchEngine#Library
Issue Date: 2023-04-27 Awesome Vector Search Engine Commentベクトルの類似度を測るサービスやライブラリ等がまとまったリポジトリ ... #Article#NLP#Library#DataAugmentation
Issue Date: 2023-01-21 nlpaug CommentData Augmentationのためのオープンソースライブラリ ... #Article#Tools#Infrastructure#MLOps#Article
Issue Date: 2022-12-01 deploy-API-to-GCP CommentFlaskAPIを（Flaskでなくても良い）Google Cloud Run上で、TerraFormで定義したインフラ環境でデプロイするためのリポジトリ0. リポジトリをclone1. Flaskアプリ作成2. FlaskアプリをDocker化3. TerraFormのStateを保存すCloud ... #Article#Embeddings#MachineLearning#Tools#Library#KnowledgeGraph
Issue Date: 2021-06-10 OpenKE, 2021 CommentWikipedia, Freebase等のデータからKnowledge Embeddingを学習できるオープンソースのライブラリ ...