第一篇笔记-主题和内容介绍
第一篇笔记-主题和内容介绍搭建个人博客这边主要是按照wushishu(不过这个网站现在已经寄了）的来进行搭建，还参考了这篇知乎文章,还要把B
阅读更多
鹅厂实习收获
鹅厂实习收获我将业务进行了抽象，本文符合保密协议，不涉及真实业务场景。
本文只讨论技术，所有代码均根据网络资料改编。
分布式锁业务实战在没有Redis的情况下使用数据库中去重表的唯一索引处理幂等性校验。后续引入Redis使用分布式锁处理，同
2025-06-29
Golang学习记录-进阶
Golang学习记录-进阶同事问我会不会GMP调度模型，我说不咋会。他说协程那块会用到GMP，那我就看一看。
有很多GMP场景实战，随着G的变化，M和P会有什么变化：https://zhuanlan.zhihu.com/p/32327108
2025-05-18
Mooncake：以 KVCache 为中心的服务分解架构LLM
Mooncake：以 KVCache 为中心的服务分解架构LLMFast’25 CCFA
背景Kimi，要在满足TTFT和TPOT的SLO的基础上，增大吞吐量
高峰期，机器其实是有限的，prefill后，decode实例不够用。要学会拒绝
2025-04-21
卸载BloomFilter-业务实践
卸载BloomFilter-业务实践最近在公司里面看代码，他在多级缓存里用到了BloomFilter。但是我详细看了一下他这个子类的业务场景，用BloomFilter很不合适。不过写业务代码太忙了，你要说改吧，肯定也没时间改。代码能跑就行，
2025-03-29
大模型科研篇1-PD概念和并行计算概念
大模型科研篇1-PD概念和并行计算概念PD概念大模型的 prefill 和 decode 是什么意思？
在大规模语言模型（如 GPT-3、GPT-4 等）的推理（inference）过程中，prefill 和 decode 是两个关键阶段，
2025-02-23
并发向数组中add值的解决方案测评
并发向数组中add值的解决方案测评背景将业务场景抽象如下：
public static void main(String[] args) {
// 使用CompleteFuture并发的向ArrayList中add操作
2025-02-22
Llumnix：大型语言模型服务的动态调度
Llumnix：大型语言模型服务的动态调度背景1.LLM服务多样化，有总结任务，有生成小说任务，有VIP任务。
KV-cache会随着推理越来越多，对GPU内存的需求也在增加。
使用动态内存分配的连续批处理
GPU满载容易爆炸，所
2024-12-30
DistServe：为大语言模型服务进行prefill和decode的分解
DistServe：为大语言模型服务进行prefill和decode的分解DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language
2024-12-12
项目自学记录10
项目自学记录10json_extractjson_extract函数是MySQL数据库中的一个内置函数，用于从JSON字符串中提取数据。
select json_extract(json_doc, path[, path] …)
json_
2024-12-03
ServerlessLLM：大型语言模型的低延迟无服务器推理
ServerlessLLM：大型语言模型的低延迟无服务器推理背景
当使用Serverless部署LLM时，由于用户需要的LLM模型（gpt-4o,openai-1o,Longchat-lite)，各式各样，将模型全部保存在本地存在巨量GPU
2024-11-12
数据中心中大语言模型开发的表征-NSDI'24
数据中心中大语言模型开发的表征-NSDI’24LLM和普通的深度学习不同。尤其是在范式转变，定制软件栈和模型架构层面。
为了解决这一差距，我们对上海人工智能实验室的数据中心Acme的运营经验进行了深入研究。 该中心拥有两个专门用于LLM开发
2024-10-14
阿里代码规范学习
阿里代码规范学习本文记录备考阿里代码规范的学习情况，章节会杂乱一些。反正考完证写到简历里就完事了。
TreeMap的key不可以为null,value允许为null，ConcurrentHashMap的key和value都不可以为null
2024-08-01