本发明公开了一种自动化测试系统及其方法，运行于计算机终端上，用于通过工装板、仪表对通讯设备进行测试，其中该系统包括：测试参数配置模块，用于配置测试所需的测试参数；仪表校准模块，用于对仪表进行校准，得到仪表校准结果；动态执行控制模块，用于通过与工装板通讯设置通讯设备的工作状态和工作模式，并根据测试参数将仪表控制在正常工作状态；仪表测试模块，连接动态执行控制模块，用于当仪表工作在正常工作状态时，通过控制仪表的状态对通讯设备的指标进行测试，并将指标测试结果返回至动态执行控制模块进行处理。采用本发明实现了对生产线的大规模通讯产品的高效自动测试。