在无线通信物理层传输中，接收机的均衡技术和发射机的预编码技术是改善通信质量的关键。在接收机处理中，通过引入判决反馈均衡，利用已判决符号辅助后续符号的处理，能够充分提高接收机信号检测的可靠性。在发射机处理中，通过引入预编码能够有效抑制干扰，改善信息传输的质量。本文主要工作是：在单载波传输场景中，提出了一种频域判决反馈均衡方法，该方法能够同多天线空分复用技术、空时编码技术进行有效结合，在接收端实现以数据块为处理单位的迭代判决反馈均衡，具有实现复杂度低的优点；在多天线中继场景中，提出了一种以信道容量为优化目标的预编码与判决反馈均衡联合优化方法，在中继发送功率受限的情况下,提高了接收机信号检测的可靠性；在多用户广播场景中，提出了一种基于最小均方误差准则的多用户预编码方法，实现了预编码与用户均衡的联合优化。