47
LLM Systems Assignment 5: Distributed Training and Fine-Tuning ZeRO: Memory Optimizations Toward Training Trillion Parameter Models DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism LLM Systems 18: Memory Optimization in Distributed Training More...
16
从 BusTub 看 Architecture of a Database System 从关系代数到 SQL
6
DB 论文阅读：2005~2024 近 20 年数据库领域回顾 DB 论文阅读：关系型数据库在 ANNS 上为什么慢？ DB 论文阅读：Product Quantization for Nearest Neighbor Search DB 论文阅读：Hierarchical Navigable Small World DB 论文阅读：Approximate nearest neighbor algorithm based on navigable small world graphs DB 论文阅读：A Relational Model of Data for Large Shared Data Banks
4
向量检索与向量数据库入门指南 从零构建向量数据库：更适合 C++ 基架选手体质的校招项目 DBMS for ANNS 一览 什么是向量数据库？
4
LevelDB 源码阅读三：工具函数一览 LevelDB 源码阅读二：操作系统接口封装 LevelDB 源码阅读一：基础数据结构 LevelDB 调试环境搭建
6
4
C++ 并发编程入门 C++ 对象模型 浅谈 C++ 类的拷贝控制 一文读懂 C++ 运算符重载
1
C 语言拾遗
1
Go 语言入门
6
4
信号与定时器 I/O 复用 高级 I/O 函数 Linux 网络编程基础 API
1
使用 WSL 搭建 Linux 开发环境
1
鸟哥的 Linux 私房菜阅读笔记
5
Git 实用命令 GoogleTest 与 Benchmark 库使用：以位图 countOnes 函数为例 LevelDB 调试环境搭建 使用 WSL 搭建 Linux 开发环境 使用Git LFS管理大文件及GitHub LFS扩容
4
从 AlphaGo 到 ChatGPT，AI 浪潮下一名普通 00 后的十年 闲书阅读记录：致最后的寒假 25 届 C++ 选手秋招小记 Dolphin DB 实习面经
2
Hexo 博客无法显示图片解决方法 使用 Nginx(GitHub Pages) 与 Hexo 搭建个人博客
2
如何提高暑期实习转正概率？ 如何实现学术论文？
2
2
小样本字体生成 数据集与样本难度度量
2
重学操作系统：内存虚拟化 重学操作系统：CPU 虚拟化与进程