Llumnix：大型语言模型服务的动态调度背景1.LLM服务多样化，有总结任务，有生成小说任务，有VIP任务。 KV-cache会随着推理越来越多，对GPU内存的需求也在增加。 使用动态内存分配的连续批处理 GPU满载容易爆炸，所

DistServe：为大语言模型服务进行prefill和decode的分解DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language

项目自学记录10json_extractjson_extract函数是MySQL数据库中的一个内置函数，用于从JSON字符串中提取数据。 select json_extract(json_doc, path[, path] …) json_

ServerlessLLM：大型语言模型的低延迟无服务器推理背景 当使用Serverless部署LLM时，由于用户需要的LLM模型（gpt-4o,openai-1o,Longchat-lite)，各式各样，将模型全部保存在本地存在巨量GPU

数据中心中大语言模型开发的表征-NSDI’24LLM和普通的深度学习不同。尤其是在范式转变，定制软件栈和模型架构层面。 为了解决这一差距，我们对上海人工智能实验室的数据中心Acme的运营经验进行了深入研究。 该中心拥有两个专门用于LLM开发

阿里代码规范学习本文记录备考阿里代码规范的学习情况，章节会杂乱一些。反正考完证写到简历里就完事了。 TreeMap的key不可以为null,value允许为null，ConcurrentHashMap的key和value都不可以为null

0.JavaGuidehttps://javaguide.cn/ 这里面的东西也是推荐要看一看的。 1.JavaArrayList源码参考资料 1.用空参创建的集合，在底层创建一个默认长度为0的数组。 2.添加第一个元素时，底层会创建一

Drools规则引擎学习通过尚硅谷的乐尚代驾项目，接触到了Drools规则引擎 代驾费用=里程费 + 等候费 + 远途费 规则虽然是上面这样的，但是实际中，规则可能进行随时调整，比如油价上涨收取燃油附加费，比如大雪天气，费用增加

尚硅谷JavaEE技术之JUC&&JVM因为在之前的”JavaGuide自学记录3-并发编程”和”Java八股文-并发学习记录”中已经记载了常见的synchronized,ReentrantLock,线程池，CAS，AQS，

尚硅谷JavaEE技术之MySQL高级SQL语法顺序 存储引擎1. 各引擎简介 InnoDB存储引擎 InnoDB是MySQL的默认事务型引擎，它被设计用来处理大量的短期(short-lived)事务。除非有非常特别的原因需要使用其他

尚硅谷JavaEE技术之分布式事务1. 本地事务回顾1.1 什么是事务提供一种”要么什么都不做，要么做全套（All or Nothing）”机制。 mysql事务： 一组sql操作(不可分割) 要么都成功 要么都失败redis事务：r

Java程序员要掌握的前端-Vue31. TypeScript1) 动态类型的问题前面我们讲过 js 属于动态类型语言，例如 function test(obj) { } obj 可能只是个字符串 test('hello, wor