本发明公开了一种生兽行为自动监测系统及方法。所述系统包括多模态信息采集模块、多模态信息融合模块和行为识别模块：多模态信息采集模块通过摄像机采集生兽养殖的视频信息，并通过传感器采集生兽个体的时序运动信息，然后将采集的多模态信息发送给多模态信息融合模块；多模态信息融合模块将视频信息与时序运动信息进行对齐同步，获得每个生兽个体的多模态信息，然后进行特征抽取，将每个生兽个体的多模态特征发送给行为识别模块；行为识别模块识别出每个生兽个体的静态行为或动态行为。本发明的技术方案充分利用了视频技术在宏观视觉表现的直观性及传感器技术在微观参数获取方面的灵敏性，实现了生兽行为监测的精准化和自动化。