chore: add rag to the categories & change images

bits-bytes-nn · bits-bytes-nn · commit 56feb28da2d5 · 2025-02-10T22:57:28.000+09:00
diff --git a/_posts/2025-01-17-from-local-to-global-a-graph-rag-approach-to-query-focused-summarization.md b/_posts/2025-01-17-from-local-to-global-a-graph-rag-approach-to-query-focused-summarization.md
@@ -3,9 +3,9 @@ layout: post
 title: "From Local to Global: A Graph RAG Approach to Query-Focused Summarization"
 date: 2024-04-24 18:38:11
 author: "Microsoft Research"
-categories: "Language-Models"
+categories: "Retrieval-Augmented-Generation"
 tags: ["Graph-RAG", "Hierarchical-Summarization", "Query-Focused-Summarization", "Retrieval-Augmented-Generation"]
-cover: /assets/images/language-models.webp
+cover: /assets/images/retrieval-augmented-generation.jpg
 use_math: true
 ---
 ### TL;DR
diff --git a/_posts/2025-01-21-tulu-3-pushing-frontiers-in-open-language-model-post-training.md b/_posts/2025-01-21-tulu-3-pushing-frontiers-in-open-language-model-post-training.md
@@ -5,7 +5,7 @@ date: 2024-11-22 18:44:04
 author: "Allen Institute for AI"
 categories: "Language-Models"
 tags: ["Direct-Preference-Optimization", "Reinforcement-Learning-with-Verifiable-Rewards", "Prompt-Decontamination", "Supervised-Finetuning", "Evaluation-Framework"]
-cover: /assets/images/language-models.webp
+cover: /assets/images/language-models.jpg
 use_math: true
 ---
 ### TL;DR
diff --git a/_posts/2025-01-22-the-llama-3-herd-of-models.md b/_posts/2025-01-22-the-llama-3-herd-of-models.md
@@ -5,7 +5,7 @@ date: 2024-07-31 17:54:27
 author: "Meta AI"
 categories: "Language-Models"
 tags: ["Efficient-Transformer-Architecture", "Grouped-Query-Attention", "Optimal-Model/Data-Scaling-Up-Allocation", "Scaling-Laws-for-Large-Language-Models", "Supervised-Finetuning", "Direct-Preference-Optimization", "Retrieval-Augmented-Generation", "Prompt-Decontamination", "Safety-Alignment", "Open-Foundation-Language-Models"]
-cover: /assets/images/language-models.webp
+cover: /assets/images/language-models.jpg
 use_math: true
 ---
 ### TL;DR
diff --git a/_posts/2025-01-24-deepseek-r1-incentivizing-reasoning-capability-in-llms-via-reinforcement-learning.md b/_posts/2025-01-24-deepseek-r1-incentivizing-reasoning-capability-in-llms-via-reinforcement-learning.md
@@ -5,7 +5,7 @@ date: 2025-01-22 15:19:35
 author: "DeepSeek AI"
 categories: "Language-Models"
 tags: ["Large-Scale-Reinforcement-Learning-on-Base-Model", "Reinforcement-Learning-with-Cold-Start", "Reasoning-Oriented-Reinforcement-Learning", "Rejection-Sampling-and-Supervised-Fine-Tuning", "Distillation-of-Reasoning-Capability"]
-cover: /assets/images/language-models.webp
+cover: /assets/images/language-models.jpg
 use_math: true
 ---
 ### TL;DR
diff --git a/_posts/2025-01-27-llama-2-open-foundation-and-fine-tuned-chat-models.md b/_posts/2025-01-27-llama-2-open-foundation-and-fine-tuned-chat-models.md
@@ -5,7 +5,7 @@ date: 2023-07-18 14:31:57
 author: "Meta AI"
 categories: "Language-Models"
 tags: ["Open-Foundation-and-Fine-Tuned-Chat-Models", "Grouped-Query-Attention", "Reinforcement-Learning-with-Human-Feedback", "System-Message-for-Multi-Turn-Consistency", "Temporal-Organization-of-Knowledge", "Tool-Use-Emergence"]
-cover: /assets/images/language-models.webp
+cover: /assets/images/language-models.jpg
 use_math: true
 ---
 ### TL;DR
diff --git a/_posts/2025-01-28-deepseek-coder-when-the-large-language-model-meets-programming-the-rise-of-code-intelligence.md b/_posts/2025-01-28-deepseek-coder-when-the-large-language-model-meets-programming-the-rise-of-code-intelligence.md
@@ -5,7 +5,7 @@ date: 2024-01-25 14:17:53
 author: "DeepSeek-AI"
 categories: "Language-Models"
 tags: ["Repository-Level-Data-Construction", "Fill-in-the-Middle-Code-Completion", "Cross-File-Code-Completion", "Long-Context-Adaptation", "Instruction-Tuning", "Grouped-Query-Attention", "Rotary-Positional-Embeddings"]
-cover: /assets/images/language-models.webp
+cover: /assets/images/language-models.jpg
 use_math: true
 ---
 ### TL;DR
diff --git a/_posts/2025-01-28-llama-open-and-efficient-foundation-language-models.md b/_posts/2025-01-28-llama-open-and-efficient-foundation-language-models.md
@@ -5,7 +5,7 @@ date: 2023-02-27 17:11:15
 author: "Meta AI"
 categories: "Language-Models"
 tags: ["Open-and-Efficient-Foundation-Language-Models", "Optimal-Model/Data-Scaling-Up-Allocation", "Rotary-Positional-Embeddings", "SwiGLU-Activation-Function", "Responsible-AI-Evaluation"]
-cover: /assets/images/language-models.webp
+cover: /assets/images/language-models.jpg
 use_math: true
 ---
 ### TL;DR
diff --git a/_posts/2025-01-30-deepseekmath-pushing-the-limits-of-mathematical-reasoning-in-open-language-models.md b/_posts/2025-01-30-deepseekmath-pushing-the-limits-of-mathematical-reasoning-in-open-language-models.md
@@ -5,7 +5,7 @@ date: 2024-02-05 18:55:32
 author: "DeepSeek-AI"
 categories: "Language-Models"
 tags: ["DeepSeekMath-Corpus", "Group-Relative-Policy-Optimization", "Iterative-Reinforcement-Learning", "Large-Scale-Reinforcement-Learning-on-Base-Model", "Reasoning-Oriented-Reinforcement-Learning"]
-cover: /assets/images/language-models.webp
+cover: /assets/images/language-models.jpg
 use_math: true
 ---
 ### TL;DR
diff --git a/_posts/2025-02-02-deepseek-v2-a-strong-economical-and-efficient-mixture-of-experts-language-model.md b/_posts/2025-02-02-deepseek-v2-a-strong-economical-and-efficient-mixture-of-experts-language-model.md
@@ -5,7 +5,7 @@ date: 2024-05-07 15:56:43
 author: "DeepSeek-AI"
 categories: "Language-Models"
 tags: ["Multi-Head-Latent-Attention", "DeepSeekMoE", "Economical-Training", "Efficient-Inference", "Long-Context-Adaptation"]
-cover: /assets/images/language-models.webp
+cover: /assets/images/language-models.jpg
 use_math: true
 ---
 ### TL;DR
diff --git a/_posts/2025-02-03-deepseek-llm-scaling-open-source-language-models-with-longtermism.md b/_posts/2025-02-03-deepseek-llm-scaling-open-source-language-models-with-longtermism.md
@@ -5,7 +5,7 @@ date: 2024-01-05 18:59:13
 author: "DeepSeek-AI"
 categories: "Language-Models"
 tags: ["Scaling-Laws", "Optimal-Model/Data-Scaling-Up-Allocation", "Multi-Step-Learning-Rate-Scheduler", "Grouped-Query-Attention", "DeepSeekMath-Corpus", "Reinforcement-Learning-with-Human-Feedback", "Direct-Preference-Optimization", "Safety-Alignment"]
-cover: /assets/images/language-models.webp
+cover: /assets/images/language-models.jpg
 use_math: true
 ---
 ### TL;DR
diff --git a/_posts/2025-02-05-deepseekmoe-towards-ultimate-expert-specialization-in-mixture-of-experts-language-models.md b/_posts/2025-02-05-deepseekmoe-towards-ultimate-expert-specialization-in-mixture-of-experts-language-models.md
@@ -5,7 +5,7 @@ date: 2024-01-11 17:31:42
 author: "DeepSeek-AI"
 categories: "Language-Models"
 tags: ["Fine-Grained-Expert-Segmentation", "Shared-Expert-Isolation", "Ultimate-Expert-Specialization", "Mixture-of-Experts-Architecture", "Parameter-Efficient-Language-Model-Scaling", "Efficient-Transformer-Architecture", "Economical-Training", "Efficient-Inference"]
-cover: /assets/images/language-models.webp
+cover: /assets/images/language-models.jpg
 use_math: true
 ---
 ### TL;DR
diff --git a/_posts/2025-02-10-raptor-recursive-abstractive-processing-for-tree-organized-retrieval.md b/_posts/2025-02-10-raptor-recursive-abstractive-processing-for-tree-organized-retrieval.md
@@ -3,9 +3,9 @@ layout: post
 title: "RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval"
 date: 2024-01-31 18:30:21
 author: "Stanford University"
-categories: "Language-Models"
+categories: "Retrieval-Augmented-Generation"
 tags: ["Recursive-Abstractive-Processing", "Tree-Organized-Retrieval", "Hierarchical-Summarization", "Retrieval-Augmented-Language-Models", "Collapsed-Tree-Retrieval"]
-cover: /assets/images/language-models.webp
+cover: /assets/images/retrieval-augmented-generation.jpg
 use_math: true
 ---
 ### TL;DR
@@ -78,7 +78,7 @@ RAPTOR 트리의 구축은 기존의 검색 증강 기법과 유사하게 검색
 
 이렇게 분할된 텍스트는 BERT 기반 인코더인 SBERT(multi-qa-mpnet-base-cos-v1)를 사용하여 임베딩됩니다. 이 청크들과 해당 SBERT 임베딩은 트리 구조의 리프 노드를 형성합니다. 유사한 텍스트 청크들을 그룹화하기 위해 클러스터링 알고리즘이 사용되며, 그룹화된 텍스트들은 언어 모델을 통해 요약됩니다. 이렇게 요약된 텍스트는 다시 임베딩되고, 더 이상의 클러스터링이 불가능해질 때까지 임베딩, 클러스터링, 요약의 사이클이 반복됩니다. 이 과정을 통해 원본 문서의 구조화된 다층 트리 표현이 생성됩니다.
 
-RAPTOR의 중요한 특징 중 하나는 계산 효율성입니다. 시스템은 구축 시간과 토큰 사용량 측면에서 선형적으로 확장되어, 대규모의 복잡한 코퍼스를 처리하는 데 적합합니다. RAPTOR의 확장성에 대한 자세한 논의는 부록 A에서 확인할 수 있습니다.
+RAPTOR의 중요한 특징 중 하나는 계산 효율성입니다. 시스템은 구축 시간과 토큰 사용량 측면에서 선형적으로 확장되어, 대규모의 복잡한 코퍼스를 처리하는 데 적합합니다.
 
 이 트리 구조 내에서의 쿼리 처리를 위해 RAPTOR는 두 가지 전략을 도입합니다. 첫 번째는 트리 순회 방식으로, 트리를 계층별로 순회하면서 각 레벨에서 가장 관련성 높은 노드들을 선별하고 가지치기합니다. 두 번째는 축소된 트리 방식으로, 모든 계층의 노드들을 통합적으로 평가하여 가장 관련성 높은 노드들을 찾아냅니다.
 
@@ -112,9 +112,9 @@ BIC로 최적의 클러스터 수가 결정되면, Expectation-Maximization 알
 
 ### 모델 기반 요약 처리
 
-가우시안 혼합 모델(Gaussian Mixture Models)을 사용하여 노드들을 클러스터링한 후, 각 클러스터 내의 노드들은 언어 모델을 통해 요약됩니다. 이 단계에서는 대량의 텍스트를 간결하고 일관된 요약문으로 변환합니다. 본 연구에서는 gpt-3.5-turbo를 사용하여 요약을 생성했습니다. 요약 단계는 검색된 정보의 잠재적으로 큰 볼륨을 관리 가능한 크기로 압축합니다. 부록 C (#A3)에서는 요약으로 인한 압축에 대한 통계를, 부록 D (#A4)에서는 요약에 사용된 프롬프트를 제공합니다.
+가우시안 혼합 모델(Gaussian Mixture Models)을 사용하여 노드들을 클러스터링한 후, 각 클러스터 내의 노드들은 언어 모델을 통해 요약됩니다. 이 단계에서는 대량의 텍스트를 간결하고 일관된 요약문으로 변환합니다. 본 연구에서는 gpt-3.5-turbo를 사용하여 요약을 생성했습니다. 요약 단계는 검색된 정보의 잠재적으로 큰 볼륨을 관리 가능한 크기로 압축합니다.
 
-요약 모델은 일반적으로 신뢰할 수 있는 요약을 생성하지만, 집중적인 주석 연구를 통해 약 4%의 요약에서 경미한 환각(hallucination) 현상이 발생한다는 것이 밝혀졌습니다. 이러한 환각은 상위 노드로 전파되지 않았으며 질의응답 과제에 눈에 띄는 영향을 미치지 않았습니다. 환각 현상에 대한 심층 분석은 부록 E (#A5)를 참조하시기 바랍니다.
+요약 모델은 일반적으로 신뢰할 수 있는 요약을 생성하지만, 집중적인 주석 연구를 통해 약 4%의 요약에서 경미한 환각(hallucination) 현상이 발생한다는 것이 밝혀졌습니다. 이러한 환각은 상위 노드로 전파되지 않았으며 질의응답 과제에 눈에 띄는 영향을 미치지 않았습니다.
 
 ![쿼리 메커니즘](https://ar5iv.org//html/2401.18059/assets/images/querying.jpg)
 
@@ -147,7 +147,7 @@ RAPTOR의 트리 기반 검색은 질문의 상세도 수준에 맞춰 트리의
 
 RAPTOR의 검색 시스템은 FAISS를 활용한 효율적인 유사도 검색을 통해 실용적인 성능도 확보했습니다. FAISS는 대규모 벡터 집합에서 빠른 최근접 이웃 검색을 가능하게 하는 라이브러리로, 특히 축소된 트리 방식에서 모든 노드에 대한 유사도 계산을 효율적으로 처리할 수 있게 해줍니다.
 
-정성적 분석의 자세한 결과와 RAPTOR와 DPR이 특정 질문들에 대해 검색한 텍스트의 구체적인 예시들은 논문의 부록 G에서 확인할 수 있습니다. 이 분석을 통해 RAPTOR의 계층적 검색 방식이 문서의 다양한 추상화 수준에서 정보를 효과적으로 통합하여 더 정확하고 포괄적인 답변을 제공할 수 있음을 확인했습니다.
+정성적 분석의 자세한 결과와 RAPTOR와 DPR이 특정 질문들에 대해 검색한 텍스트의 구체적인 예시들의 분석을 통해 RAPTOR의 계층적 검색 방식이 문서의 다양한 추상화 수준에서 정보를 효과적으로 통합하여 더 정확하고 포괄적인 답변을 제공할 수 있음을 확인했습니다.
 
 ### 실험 데이터셋과 평가 방법
 
diff --git a/assets/images/default.jpg b/assets/images/default.jpg
diff --git a/assets/images/language-models.jpg b/assets/images/language-models.jpg
diff --git a/assets/images/language-models.webp b/assets/images/language-models.webp
diff --git a/assets/images/retrieval-augmented-generation.jpg b/assets/images/retrieval-augmented-generation.jpg
