Статистическая зависимость случайных величин. Уравнения регрессии
Зависимость между значениями одной случайной величины и условным математическим ожиданием другой случайной величины носит название статистической.
Чтобы изучить статистическую зависимость, нужно знать условное математическое ожидание случайной величины. Для его оценки необходимо знать аналитический вид двумерного распределения (X,Y). Однако, суждение об аналитическом виде двумерного распределения, сделанного по отдельной ограниченной по объёму выборке, может привести к серьёзным ошибкам. Поэтому идут на упрощение и переходят от условного математического ожидания случайной величины к условному среднему значению, т.е. принимают, что 
Статистическую зависимость Y от X описывают с помощью уравнения вида
где 
– условное математическое ожидание величины Y, соответствующее данному значению х. х – отдельные значения величины Х; 
– некоторая функция. Это уравнение называется уравнением регрессии Y на Х.
Обратную статистическую зависимость можно описать уравнением регрессии X на Y:
где 
- условное математическое ожидание величины Х, соответствующее данному значению y случайной величины Y; 
- некоторая функция.
Функции и называют соответственно регрессиями Y на X и X на Y, а их графики – линиями регрессии Y на Х и X на Y. Уравнения регрессии выражают математическое ожидание случайной величины Y (или X) для случая, когда другая переменная принимает определенное число.
В зависимости от вида уравнений регрессии и формы соответствующих линий регрессии говорят о различной форме статистической зависимости между изучаемыми величинами – линейной, квадратичной, показательной и т.д.
Если функции , линейные, т.е. уравнения регрессии можно представить в виде:
где A,B,C,D – некоторые параметры, то описываемые этими уравнениями зависимости Y от X и X от Y называются линейными; линии регрессии при этом – прямые. Если линия регрессии не является прямой, то такую зависимость называют нелинейной.
Как уже было сказано выше, возможности практического применения статистической зависимости 
весьма ограниченны. Поэтому для характеристики формы связи между двумя случайными величинами, полученными в результате выборочных наблюдений, используют корреляционную зависимость 
(или 
). Уравнения, описываемые подобной зависимостью, называют выборочными уравнениями регрессии.
Если функции , линейные, то выборочные уравнения линейной регрессии Y на X и X на Y можно представить в виде:
где 
и 
– условные средние значения величин Y и X, параметры b и d – оценки B и D, 
и 
– выборочные оценки коэффициентов A и C.
Угловые коэффициенты и линий регрессии носят названия выборочных коэффициентов регрессии Y на X и X на Y соответственно. Они определяются как:
; 
,
где 
Из курса аналитической геометрии следует, что коэффициент линейной регрессии (угловой коэффициент линии регрессии) численно равен тангенсу угла наклона линии регрессии к соответствующей оси координат. Следовательно, чем больше, например, коэффициент линейной регрессии Y на X, то есть, чем больше угол наклона прямой к оси Ох, тем больше изменяется среднее значение величины Y при изменении значений величины X.