本发明公开一种视频编解码访存优化系统和方法。该系统包括熵编码器和熵解码器，其中：所述熵编码器，用于在熵编码过程中，模拟解码访存行为并获取解码访存行为信息并得到访存信息队列，根据访存信息队列编码生成访存信息辅助流并与熵编码后的视频数据一起传输给熵解码器；所述熵解码器，用于接收到待解码的码流后，利用所述访存信息辅助流，对编码的视频数据的进行缓存优化调度和解码。其实现对片上缓存的最优调度，以大幅降低平均访存延时和片外访存带宽。