一种三维遥控装置及使用该装置的三维遥控系统，该装置包括：一光源，一遥控模组，一图像感测模组，一图像处理模组，及一通讯模组。所述遥控模组与所述光源分离，其可由操作者操控其相对所述光源做三维运动，所述光源发射的光入射至所述遥控模组经所述遥控模组反射而形成出射光，该出射光携带所述遥控模组在三维运动过程中的三维位移信息且与所述入射光反向平行，所述图像感测模组与所述光源相对固定设置，用于感测所述出射光以形成图像。所述图像处理模组与所述图像感测模组相连，用于处理所述图像感测模组产生的图像，并产生表征所述遥控模组在三维运动过程中的位移的信号。所述通讯模组与所述图像处理模组相连，用于输出所述位移信号。