第一篇笔记-主题和内容介绍
第一篇笔记-主题和内容介绍搭建个人博客这边主要是按照wushishu(不过这个网站现在已经寄了）的来进行搭建，还参考了这篇知乎文章,还要把B
阅读更多
Llumnix：大型语言模型服务的动态调度
Llumnix：大型语言模型服务的动态调度背景1.LLM服务多样化，有总结任务，有生成小说任务，有VIP任务。
KV-cache会随着推理越来越多，对GPU内存的需求也在增加。
使用动态内存分配的连续批处理
GPU满载容易爆炸，所
2024-12-30
DistServe：为大语言模型服务进行prefill和decode的分解
DistServe：为大语言模型服务进行prefill和decode的分解DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language
2024-12-12
项目自学记录10
项目自学记录10json_extractjson_extract函数是MySQL数据库中的一个内置函数，用于从JSON字符串中提取数据。
select json_extract(json_doc, path[, path] …)
json_
2024-12-03
ServerlessLLM：大型语言模型的低延迟无服务器推理
ServerlessLLM：大型语言模型的低延迟无服务器推理背景
当使用Serverless部署LLM时，由于用户需要的LLM模型（gpt-4o,openai-1o,Longchat-lite)，各式各样，将模型全部保存在本地存在巨量GPU
2024-11-12
数据中心中大语言模型开发的表征-NSDI'24
数据中心中大语言模型开发的表征-NSDI’24LLM和普通的深度学习不同。尤其是在范式转变，定制软件栈和模型架构层面。
为了解决这一差距，我们对上海人工智能实验室的数据中心Acme的运营经验进行了深入研究。 该中心拥有两个专门用于LLM开发
2024-10-14
阿里代码规范学习
阿里代码规范学习本文记录备考阿里代码规范的学习情况，章节会杂乱一些。反正考完证写到简历里就完事了。
TreeMap的key不可以为null,value允许为null，ConcurrentHashMap的key和value都不可以为null
2024-08-01
个人简历总结
0.JavaGuidehttps://javaguide.cn/
这里面的东西也是推荐要看一看的。
1.JavaArrayList源码参考资料
1.用空参创建的集合，在底层创建一个默认长度为0的数组。
2.添加第一个元素时，底层会创建一
2024-07-26
Drools规则引擎学习
Drools规则引擎学习通过尚硅谷的乐尚代驾项目，接触到了Drools规则引擎
代驾费用=里程费 + 等候费 + 远途费
规则虽然是上面这样的，但是实际中，规则可能进行随时调整，比如油价上涨收取燃油附加费，比如大雪天气，费用增加
2024-07-21
尚硅谷JavaEE技术之JUC&&JVM
尚硅谷JavaEE技术之JUC&&JVM因为在之前的”JavaGuide自学记录3-并发编程”和”Java八股文-并发学习记录”中已经记载了常见的synchronized,ReentrantLock,线程池，CAS，AQS，
2024-07-05
尚硅谷JavaEE技术之MySQL高级
尚硅谷JavaEE技术之MySQL高级SQL语法顺序
存储引擎1. 各引擎简介
InnoDB存储引擎
InnoDB是MySQL的默认事务型引擎，它被设计用来处理大量的短期(short-lived)事务。除非有非常特别的原因需要使用其他
2024-07-02
尚硅谷JavaEE技术之分布式事务
尚硅谷JavaEE技术之分布式事务1. 本地事务回顾1.1 什么是事务提供一种”要么什么都不做，要么做全套（All or Nothing）”机制。
mysql事务： 一组sql操作(不可分割) 要么都成功 要么都失败redis事务：r
2024-06-30
Java程序员要掌握的前端-Vue3
Java程序员要掌握的前端-Vue31. TypeScript1) 动态类型的问题前面我们讲过 js 属于动态类型语言，例如
function test(obj) {
}
obj 可能只是个字符串
test('hello, wor
2024-06-28