大语言模型技术博客列表
大模型量化压缩技术对比分析：K-Quants、imatrix和i-quants
标签：大语言模型,模型压缩,量化,K-Quants,imatrix,i-quants
时间：2024-03-09T18:24:37
欢迎大家关注DataLearner官方微信，接受最新的AI技术推送
相关博客
阿里巴巴开源第二代大语言模型Qwen2系列，最高参数规模700亿，评测结果位列开源模型第一，超过了Meta开源的Llama3-70B！
让大模型支持更长的上下文的方法哪个更好？训练支持更长上下文的模型还是基于检索增强？
大模型如何使用长上下文信息？斯坦福大学最新论文证明，你需要将重要的信息放在输入的开始或者结尾处！
文本理解与代码补全都很强！Salesforce开源支持8K上下文输入的大语言模型XGen-7B！
一张图总结大语言模型的技术分类、现状和开源情况
国产开源中文大语言模型再添重磅玩家：清华大学NLP实验室发布开源可商用大语言模型CPM-Bee
tokens危机到来该怎么办？新加坡国立大学最新研究：为什么当前的大语言模型的训练都只有1次epoch？多次epochs的大模型训练是否有必要？
Falcon-40B：截止目前最强大的开源大语言模型，超越MetaAI的LLaMA-65B的开源大语言模型
AI大模型领域的热门技术——Embedding入门介绍以及为什么Embedding在大语言模型中很重要
大语言模型训练之前，数据集的处理步骤包含哪些？以LLaMA模型的数据处理pipeline（CCNet）为例
Llama2模型量化结果地址
如何基于PyTorch来优化大模型训练的内存（显存）使用：8种方法总结
华盛顿大学提出QLoRA及开源预训练模型Guanaco：将650亿参数规模的大模型微调的显存需求从780G降低到48G！单张显卡可用！
最热博客
Dirichlet Distribution（狄利克雷分布）与Dirichlet Process（狄利克雷过程）
回归模型中的交互项简介（Interactions in Regression）
贝塔分布（Beta Distribution）简介及其应用
矩母函数简介（Moment-generating function）
普通最小二乘法（Ordinary Least Squares，OLS）的详细推导过程
使用R语言进行K-means聚类并分析结果
深度学习技巧之Early Stopping（早停法）
H5文件简介和使用
手把手教你本地部署清华大学的ChatGLM-6B模型——Windows+6GB显卡本地部署
Wishart分布简介