一种全景视频序列图像的多目标对象跟踪系统，包括用于获取大范围场景的全方位摄像装置和用于对全方位摄像装置所拍摄的全景图像进行视频分析处理的微处理器；在运动目标对象提取和简单多目标对象跟踪处理过程中，采用了一种计算复杂度不高、参数和阈值选取比较简单、便于在片上系统中实现的MHoEI算法；为了实现多目标对象在场景中发生遮挡、分离和合并等情况时进行有效的跟踪，依次根据匹配的结果分别通过目标对象的运动特征、颜色特征和形状特征进行跟踪，在改善了跟踪效率的同时也提高了多目标对象跟踪的鲁棒性。