缓存和延时的关系

随着各种新应用的诞生，网络延时要求越来越高。比如AI购物，要在短时间内将货物的图像传递到用户终端，同时随着角度的移动，图像也要实时传递。要想人眼没有明显的卡顿感觉，延时和速率都是重要的一环。速率不在讨论范围内，这里单从延时角度聊一下。芯片内部，缓存的读写延时相对是固定的，即使如DDR，一般也都有一个最大的延时，不会超过那个值。这种延时受限于读写操作，属于固有延时，很难节省，除非工艺有提升。通常情况下，调度器的能力都会比缓存的读能力大。这里主要是讲缓存对延时的影响，不讨论具体的实现方式。实现方式和具体的案例相关，如何能因地制宜地减少缓存中的深度，本质上就是降低了延时。