本发明公开了一种双筒多视场太阳光度计图像跟踪系统及算法，包括有成像光筒、CCD图像传感器、图像采集模块、运动控制模块、工控机、转台，工控机控制运动控制模块使得转台能够自动在水平和俯仰方向两个自由度上正确回到初始位置，用户通过工控机首先下发粗跟踪命令后，由运动控制模块控制转台转动使成像光筒对着太阳，太阳平行光经成像光筒在CCD耙面上成像，工控机通过程序命令图像采集模块采集传感器输出的太阳图像并将太阳图像传回给工控机，工控机再下发精跟踪命令后，由运动控制模块控制转台精准跟踪太阳，跟踪精度高于1角分。本发明解决了传统太阳光度计当有不均匀云时利用四象限光强的分布来跟踪太阳会不准的局限性问题。