本发明属于视频分析技术领域，具体为一种工业结构化场景中医用胶囊缺陷自动检测的系统。该系统包括：三个分别安装在胶囊传送滚轴两侧和正上方的摄像头，两个安装在胶囊传送滚轴两侧的LED光源，一台计算机；所述计算机上安装有处理软件系统，该处理软件系统包括软件界面启动模块、样本训练模块、图像分析模块以及通讯模块；系统工作时图像分析模块对胶囊图像进行检测，并通过通讯模块将检测结果传输给硬件，使其能剔除不合格胶囊；本发明综合不同图像处理方法性能差异，形成一套能够同时满足时间和准确率要求的算法，可在有限的计算资源下，保证较高的准确率，并实时的进行分析，以满足工业生产中的实际需要。