自由空间光通信具有频带宽、成本低、部署快速、无需频谱许可等优点，应用潜力巨大，近年来许多国家投入巨资进行研究开发。但由于光束在大气中传输时，易受到大气湍流的影响，导致传输光束的波前随机起伏，造成光斑漂移、光强起伏(闪烁)等，使传输的光束质量严重下降，造成自由空间光通信系统误码率增加、信道容量减小、甚至通信中断，严重影响通信链路的稳定性和可靠性。本文针对上述问题着重研究了大气衰减效应和大气湍流效应对光束传输的影响，着重研究了大气湍流的机理及大气折射率起伏模型，依据高斯光束在大气湍流中传播的基本理论，基于修正的Rytov方法，给出了内尺度和外尺度效应时的闪烁指数，并给出了光强起伏概率分布模型。其次，为了分析大气湍流对自由空间光通信系统性能的影响，提出了一种Meijer G函数表示的新颖闭合表达式，建立了大气湍流下空间光到单模光纤耦合效率表达式。为了减小大气湍流效应的影响，采用自适应光学技术对自由空间光通信系统进行补偿。根据自适应光学原理及大气湍流理论，得出了基于自适应光学补偿的自由空间光通信系统的误码率和耦合效率表达式，同时还得出了耦合效率与斯特列尔比的关系，仿真分析了自适应光学对自由空间光通信系统的补偿效果。