Логит регрессия в excel

Регрессионный анализ является одним из самых востребованных методов статистического исследования. С его помощью можно установить степень влияния независимых величин на зависимую переменную. В функционале Microsoft Excel имеются инструменты, предназначенные для проведения подобного вида анализа. Давайте разберем, что они собой представляют и как ими пользоваться.

Подключение пакета анализа

Но, для того, чтобы использовать функцию, позволяющую провести регрессионный анализ, прежде всего, нужно активировать Пакет анализа. Только тогда необходимые для этой процедуры инструменты появятся на ленте Эксель.

1. Перемещаемся во вкладку «Файл».



2. Переходим в раздел «Параметры».



3. Открывается окно параметров Excel. Переходим в подраздел «Надстройки».



4. В самой нижней части открывшегося окна переставляем переключатель в блоке «Управление» в позицию «Надстройки Excel», если он находится в другом положении. Жмем на кнопку «Перейти».



5. Открывается окно доступных надстроек Эксель. Ставим галочку около пункта «Пакет анализа». Жмем на кнопку «OK».

Теперь, когда мы перейдем во вкладку «Данные», на ленте в блоке инструментов «Анализ» мы увидим новую кнопку – «Анализ данных».

Виды регрессионного анализа

Существует несколько видов регрессий:

• параболическая;
• степенная;
• логарифмическая;
• экспоненциальная;
• показательная;
• гиперболическая;
• линейная регрессия.

О выполнении последнего вида регрессионного анализа в Экселе мы подробнее поговорим далее.

Внизу, в качестве примера, представлена таблица, в которой указана среднесуточная температура воздуха на улице, и количество покупателей магазина за соответствующий рабочий день. Давайте выясним при помощи регрессионного анализа, как именно погодные условия в виде температуры воздуха могут повлиять на посещаемость торгового заведения.

Общее уравнение регрессии линейного вида выглядит следующим образом: У = а0 + а1х1 +…+акхк. В этой формуле Y означает переменную, влияние факторов на которую мы пытаемся изучить. В нашем случае, это количество покупателей. Значение x – это различные факторы, влияющие на переменную. Параметры a являются коэффициентами регрессии. То есть, именно они определяют значимость того или иного фактора. Индекс k обозначает общее количество этих самых факторов.

1. Кликаем по кнопке «Анализ данных». Она размещена во вкладке «Главная» в блоке инструментов «Анализ».





2. Открывается небольшое окошко. В нём выбираем пункт «Регрессия». Жмем на кнопку «OK».



3. Открывается окно настроек регрессии. В нём обязательными для заполнения полями являются «Входной интервал Y» и «Входной интервал X». Все остальные настройки можно оставить по умолчанию.

   В поле «Входной интервал Y» указываем адрес диапазона ячеек, где расположены переменные данные, влияние факторов на которые мы пытаемся установить. В нашем случае это будут ячейки столбца «Количество покупателей». Адрес можно вписать вручную с клавиатуры, а можно, просто выделить требуемый столбец. Последний вариант намного проще и удобнее.

   В поле «Входной интервал X» вводим адрес диапазона ячеек, где находятся данные того фактора, влияние которого на переменную мы хотим установить. Как говорилось выше, нам нужно установить влияние температуры на количество покупателей магазина, а поэтому вводим адрес ячеек в столбце «Температура». Это можно сделать теми же способами, что и в поле «Количество покупателей».

   

   С помощью других настроек можно установить метки, уровень надёжности, константу-ноль, отобразить график нормальной вероятности, и выполнить другие действия. Но, в большинстве случаев, эти настройки изменять не нужно. Единственное на что следует обратить внимание, так это на параметры вывода. По умолчанию вывод результатов анализа осуществляется на другом листе, но переставив переключатель, вы можете установить вывод в указанном диапазоне на том же листе, где расположена таблица с исходными данными, или в отдельной книге, то есть в новом файле.

   

   После того, как все настройки установлены, жмем на кнопку «OK».

Разбор результатов анализа

Результаты регрессионного анализа выводятся в виде таблицы в том месте, которое указано в настройках.

Одним из основных показателей является R-квадрат. В нем указывается качество модели. В нашем случае данный коэффициент равен 0,705 или около 70,5%. Это приемлемый уровень качества. Зависимость менее 0,5 является плохой.

Ещё один важный показатель расположен в ячейке на пересечении строки «Y-пересечение» и столбца «Коэффициенты». Тут указывается какое значение будет у Y, а в нашем случае, это количество покупателей, при всех остальных факторах равных нулю. В этой таблице данное значение равно 58,04.

Значение на пересечении граф «Переменная X1» и «Коэффициенты» показывает уровень зависимости Y от X. В нашем случае — это уровень зависимости количества клиентов магазина от температуры. Коэффициент 1,31 считается довольно высоким показателем влияния.

Как видим, с помощью программы Microsoft Excel довольно просто составить таблицу регрессионного анализа. Но, работать с полученными на выходе данными, и понимать их суть, сможет только подготовленный человек.

This is one of the following seven articles on Logistic Regression in Excel

Logistic Regression Overview

Logistic Regression in 7 Steps in Excel 2010 and Excel 2013

R Square For Logistic Regression Overview

Excel R Square Tests: Nagelkerke, Cox and Snell, and Log-Linear Ratio in Excel 2010 and Excel 2013

Likelihood Ratio Is Better Than Wald Statistic To Determine if the Variable Coefficients Are Significant For Excel 2010 and Excel 2013

Excel Classification Table: Logistic Regression’s Percentage Correct of Predicted Results in Excel 2010 and Excel 2013

Hosmer- Lemeshow Test in Excel – Logistic Regression Goodness-of-Fit Test in Excel 2010 and Excel 2013

The purpose of this example of binary logistic regression is to create an equation that will calculate the probability that a production machine is currently producing output that conforms to desired specifications based upon the age of the machine in months and the average number of shifts that the machine has operated during each week of its lifetime.

Data was collected on 20 similar machines as follows:

1) Whether the machine produces output that meets specifications at least 99 percent of the time.(1 = Machine Meets Spec – It Does Produce Conforming Output at least 99 Percent of the Time, 0 = Machine Does Not Meets Spec – It Does Not Produce Conforming Output at least 99 Percent of the Time)

2) The Machine’s Age in Months

3) The Average Number of Shifts That the Machine Has Operated Each Week During Its Lifetime.

(Click On Image To See a Larger Version)

Logistic Regression Steps in Excel

Logistic Regression Step 1 – Sort the Data

The purpose of sorting the data is to make data patterns more evident. Using Excel data sorting tool, perform the primary sort on the dependent variable. In this case, the dependent variable is the response variable indicating whether the prospect made a purchase. Perform subordinate sorts (secondary, tertiary, etc.) on the remaining variables.

The following data was sorted initially according to the response variable (Y). The secondary sort was done according to Machine Age and the tertiary sort was done according to Average Number of Shifts of Operation Per Week. The results are as follows:

(Click On Image To See a Larger Version)

Patterns are evident from the data sort. Machines that did not produce conforming output tended to the older machines and/or machines that operate during a higher average number of shifts per week.

Logistic Regression Step 2 – Calculate a Logit For Each Data Record

Given the following inputs, X₁, X₂, …, X_k, the Logit equals the following:

Logit = L = b₀ + b₁X₁ + b₂X₂ + …+ b_kX_k

If the explanatory variables are Age and Average Number of Shifts, the Logit, L, is as follows:

Logit = L = b₀ + b₁*Age + b₂*(Average Number of Weekly Shifts)

The Excel Solver will ultimately optimize the variables b₀, b₁, and b₂ in order to create an equation that will accurately predict the probability of a machine producing conforming output given the machines age and average number of operating shifts per week.

The Decision Variables are the variables that the Solver adjusts during the optimization process. The Decision Variables b₀, b₁, and b₂ are arbitrarily set to 0.1 before the Solver is run. It is a good idea to initially set the Solver decision variables so that the resulting Logit is well below 20 for each record. Logits that exceed 20 cause extreme values to occur in later steps of logistic regression. The Solver decision variables b₀, b₁, and b₂ have been arbitrarily set to the value of 0.1 to initial produce reasonably small Logits as shown next.

A unique Logit is created for each of the 20 data records based on the initial settings of the Decision Variables as follows:

 (Click On Image To See a Larger Version)

Logistic Regression Step 3 – Calculate e^L For Each Data Record

The number e is the base of the natural logarithm. It is approximately equal to 2.71828163 and is the limit of (1 + 1/n)ⁿ as n approaches infinity. e^L must be calculated for each data record. This step will be shown in the image in the next step, Step 4.

Logistic Regression Step 4 – Calculate P(X) For Each Data Record

P(X) is the probability of event X occurring. Event X occurs when a machine produces conforming output. P(X) is the probability of a machine producing conforming output.

P(X) = e^L / (1 + e^L)

L = Logit = b₀ + b₁*X₁ + b₂*X₂ + …+ b_k*X_k

Calculating e^L and P(X) for each of the data records is done as follows:

 (Click On Image To See a Larger Version)

e^L can also be calculated in Excel as exp(L).

Logistic Regression Step 5 – Calculate LL, the Log-Likelihood Function

The conditional probability Pr(Y_i=y_i|X_1i,X_2i,…X_ki) is the probability that predicted dependent variable y_i equals the actual observed value Y_i given the values of the independent variables inputs X_1i,X_2i,…X_ki.

The conditional probability Pr(Y_i=y_i|X_1i,X_2i,…X_ki) will be abbreviated Pr(Y=y|X) from here forward for convenience.

The conditional probability Pr(Y=y|X) is calculated by the following formula:

Pr(Y=y|X) = P(X)^Y * [1-P(X)]^(1-Y)

Taking the natural log of both sides yields the following:

ln [ Pr(Y=y|X) ] = y*ln [ P(X) ] * (1-y)*ln[ [1-P(X)] ]

The Log-Likelihood Function, LL, is the sum of the ln [ Pr(Y=y|X) ] terms for all data records as per the following formula:

LL = ∑ Y_i *P(X_i) + (1 – Y_i)(1-P(X_i))

Calculating LL is done as follows:

(Click On Image To See a Larger Version)

 (Click On Image To See a Larger Version)

Logistic Regression Step 6 – Use the Excel Solver to Calculate MLL, the Maximum Log-Likelihood Function

The objective of Logistic Regression is find the coefficients of the Logit (b₀ , b₁,, b₂ + …+ b_k) that maximize LL, the Log-Likelihood Function in cell H30, to produce MLL, the Maximum Log-Likelihood Function.

The functionality of the Excel Solver is fairly straightforward: the Excel Solver adjusts the numeric values in specific cells in order to maximize or minimize the value in a single other cell.

The cell that the Solver is attempting to maximize or minimize is called the Solver Objective. This is LL in cell H30.

The cells whose values the Solver adjusts are called the Decision Variables. The Solver Decision Variables are therefore in cells C2, C3, and C4. These contain b₀ , b₁,, b₂ + …+ b_k, the coefficients of the Logit. These cells will be adjusted to maximize LL, which is in cell H30.

The Excel Solver is an add-in that in included with most Excel packages. The Solver most be manually activated by the user before it can be utilized for the first time. Different versions of Excel require different method of activation for the Solver. The best advice is to search Microsoft’s documentation online to locate instructions for activating the add-ins that are included with your version of Excel. YouTube videos are often another convenient source for step-by-step instructions for activating Solver in your version of Excel. Once activated, the Solver is normally found in the Data tab of versions of Excel from 2007 onward that use the ribbon navigation. Excel 2003 provides a link to the Solver in the drop-down menu under Tools.

These Decision Variables and Objective are entered into the Solver dialogue box as follows:

 (Click On Image To See a Larger Version)

Make sure not to check the checkbox next to Make Unconstrained Variables Non-Negative.

Excel Solver’s GRG Nonlinear Solving Method

The GRG Nonlinear solving method should be selected if any of the equations involving Decision variables or Constraints is nonlinear and smooth (uninterrupted, continuous, i.e., having no breaks). GRG stands for Generalized Reduced Gradient and is a long-time, proven, reliable method for solving nonlinear problems.

The equations on the path to the calculation of the Objective (maximizing LK) involve the calculation of e^L, P(X), and Pr(Y=y|X). Each of these three equations is nonlinear and smooth. An equation is “smooth” if that equation and the derivative of that equation have no breaks (are continuous). The GRG Nonlinear solving method should therefore be selected.

One way to determine whether an equation or function is non-smooth (the graph has a sharp point indicating that the derivative is discontinuous) or discontinuous (the equation’s graph abruptly changes values at certain points – the graph is disconnected at these points) is to graph the equation over its expected range of values.

The Solver Should Be Run Through Several Trials To Ensure an Optimal Solution

When the Solver runs the GRG algorithm, it picks a starting point for its calculations. Each time the Solver GRG algorithm is run, it picks a slightly different starting point. This is why different answers will often appear after each run of the GRG Nonlinear solving method. The Solver should be re-run several times until the Objective (LK) is not maximized further. This should produce the best locally optimal values of the Decision Variables (b₀, b₁, b₂, …, b_k).

The GRG Nonlinear solving method is guaranteed to produce locally optimal solutions but not globally optimal solutions. The GRG nonlinear solving method will produce a Globally Optimal solution if all functions in the path to the Objective and all Constraints are convex. If any of the functions or Constraints is non-convex, the GRG Nonlinear solving method may find only Locally Optimal Solutions.

A function is convex if it has only one peak either up or down. A convex function can always be solved to a Globally Optimal solution. A function is non-convex if it has more than one peak or is discontinuous. Non-convex solutions can often be solved only to Locally Optimal solutions.

A Globally Optimal solution is the best possible solution that meets all Constraints. A Globally Optimal solution might be comparable to Mount Everest since Mount Everest is the highest of all mountains.

A Locally Optimal solution is the best nearby solution that meets all Constraints. It may not be the best overall solution, but it is the best nearby solution. A Locally Optimal solution might be comparable to Mount McKinley, which is the highest mountain in North America not the highest of all mountains.

The function e^L with L = b₀ + b₁*X₁ + b₂*X₂ + …+ b_k*X_k can be non-convex because inputs X₁ , X₂ ,…, X_k can be nonlinear. The GRG Nonlinear solving method is therefore only guaranteed to find a Locally Optimal Solution.

How to Increase the Chance That the Solver Will Find a Globally Optimal Solution

There are three ways to increase the chance that the Solver will arrive at a Globally Optimal solution:

The first is to run the Solver multiple times using different sets of values for the Decision Variables. This option allows you to select initial sets of Decision Variables based on your understanding of the overall problem and is often the best way to arrive at the most desirable solution.

The second was is to select “Use Multistart.” This runs the GRG Solver for a number of times and randomly selects a different set of initial values for the Decision Variables during each run. The Solver then presents the best of all of the Locally Optimal solutions that it has found.

The third way is to set constraints in the Solver dialogue box that will force the Solver to try a new set of values. Constraints are limitations manually placed on the Decision Variables. Constraints can be useful if the Decision variables should be limited to a specific range of values. A Globally Optimal solution will not likely be found by applying constraints but a more realistic solution can be obtained by limiting Decision Variables to likely values.

Interpreting Excel Solver Results

Running the Solver produces the following results for this problem:

(Click On Image To See a Larger Version)

 (Click On Image To See a Larger Version)

MLL, the Maximum Log-Likelihood was calculated to be -6.654560484 when the constants were adjusted as Solver Decision Variables to the values of:

b₀ = 12.48285608

b₁ = -0.117031374

b₂ = -1.469140055

Logistic Regression Step 7 – Test the Solver Output By Running Scenarios

Validate the output by running several scenarios through the Solver results. Each scenario will employ a different variation of input variables X₁, X₂, .. , X_k to produce outputs that should be consistent with the initial data set.

The sort of the initial data showed a pattern that nonconforming product was more likely on older machines and/or machines that were run more often.

The following three scenarios were run as follows:

Scenario 1

Machine Age = 40 months

Average Number of Weekly Shifts = 7

P(X) = Probability of Conforming Output = 8 percent

 (Click On Image To See a Larger Version)

Scenario 2

Machine Age = 40 months

Average Number of Weekly Shifts = 4

P(X) = Probability of Conforming Output = 87 percent

 (Click On Image To See a Larger Version)

Scenario 3

Machine Age = 12 months

Average Number of Weekly Shifts = 7

P(X) = Probability of Conforming Output = 69 percent

 (Click On Image To See a Larger Version)

The outcomes of these three scenarios are consistent with the patterns apparent in the initial sorted data set below that nonconforming product was more likely to be produced by older machines and/or machines that were run more often:

(Click On Image To See a Larger Version)

Excel Master Series Blog Directory

Statistical Topics and Articles In Each Topic

• Histograms in Excel
  • Creating a Histogram With the Histogram Data Analysis Tool in Excel
  • Creating an Automatically Updating Histogram in 7 Steps in Excel With Formulas and a Bar Chart
• Bar Chart in Excel
  • Creating a Bar Chart in 7 Steps in Excel 2010 and Excel 2013
• Combinations & Permutations in Excel
  • Combinations in Excel 2010 and Excel 2013
  • Permutations in Excel 2010 and Excel 2013
• Normal Distribution in Excel
  • Overview of the Normal Distribution
  • Normal Distribution’s PDF (Probability Density Function) in Excel 2010 and Excel 2013
  • Normal Distribution’s CDF (Cumulative Distribution Function) in Excel 2010 and Excel 2013
  • Solving Normal Distribution Problems in Excel 2010 and Excel 2013
  • Overview of the Standard Normal Distribution in Excel 2010 and Excel 2013
  • An Important Difference Between the t and Normal Distribution Graphs
  • The Empirical Rule and Chebyshev’s Theorem in Excel – Calculating How Much Data Is a Certain Distance From the Mean
  • Demonstrating the Central Limit Theorem In Excel 2010 and Excel 2013 In An Easy-To-Understand Way
• t-Distribution in Excel
  • Overview of the t- Distribution
• Binomial Distribution in Excel
  • Overview of the Binomial Distribution in Excel 2010 and Excel 2013
  • Solving Problems With the Binomial Distribution in Excel 2010 and Excel 2013
  • Normal Approximation of the Binomial Distribution in Excel 2010 and Excel 2013
  • Distributions Related to the Binomial Distribution
• z-Tests in Excel
  • Overview of Hypothesis Tests Using the Normal Distribution in Excel 2010 and Excel 2013
  • One-Sample z-Test in 4 Steps in Excel 2010 and Excel 2013
  • 2-Sample Unpooled z-Test in 4 Steps in Excel 2010 and Excel 2013
  • Overview of the Paired (Two-Dependent-Sample) z-Test in 4 Steps in Excel 2010 and Excel 2013
• t-Tests in Excel
  • Overview of t-Tests: Hypothesis Tests that Use the t-Distribution
  • 1-Sample t-Tests in Excel
    • 1-Sample t-Test in 4 Steps in Excel 2010 and Excel 2013
    • Excel Normality Testing For the 1-Sample t-Test in Excel 2010 and Excel 2013
    • 1-Sample t-Test – Effect Size in Excel 2010 and Excel 2013
    • 1-Sample t-Test Power With G*Power Utility
    • Wilcoxon Signed-Rank Test in 8 Steps As a 1-Sample t-Test Alternative in Excel 2010 and Excel 2013
    • Sign Test As a 1-Sample t-Test Alternative in Excel 2010 and Excel 2013
  • 2-Independent-Sample Pooled t-Tests in Excel
    • 2-Independent-Sample Pooled t-Test in 4 Steps in Excel 2010 and Excel 2013
    • Excel Variance Tests: Levene’s, Brown-Forsythe, and F Test For 2-Sample Pooled t-Test in Excel 2010 and Excel 2013
    • Excel Normality Tests Kolmogorov-Smirnov, Anderson-Darling, and Shapiro Wilk Tests For Two-Sample Pooled t-Test
    • Two-Independent-Sample Pooled t-Test — All Excel Calculations
    • 2- Sample Pooled t-Test – Effect Size in Excel 2010 and Excel 2013
    • 2-Sample Pooled t-Test Power With G*Power Utility
    • Mann-Whitney U Test in 12 Steps in Excel as 2-Sample Pooled t-Test Nonparametric Alternative in Excel 2010 and Excel 2013
    • 2- Sample Pooled t-Test = Single-Factor ANOVA With 2 Sample Groups
  • 2-Independent-Sample Unpooled t-Tests in Excel
    • 2-Independent-Sample Unpooled t-Test in 4 Steps in Excel 2010 and Excel 2013
    • Variance Tests: Levene’s Test, Brown-Forsythe Test, and F-Test in Excel For 2-Sample Unpooled t-Test
    • Excel Normality Tests Kolmogorov-Smirnov, Anderson-Darling, and Shapiro-Wilk For 2-Sample Unpooled t-Test
    • 2-Sample Unpooled t-Test Excel Calculations, Formulas, and Tools
    • Effect Size for a 2-Independent-Sample Unpooled t-Test in Excel 2010 and Excel 2013
    • Test Power of a 2-Independent Sample Unpooled t-Test With G-Power Utility
  • Paired (2-Sample Dependent) t-Tests in Excel
    • Paired t-Test in 4 Steps in Excel 2010 and Excel 2013
    • Excel Normality Testing of Paired t-Test Data
    • Paired t-Test Excel Calculations, Formulas, and Tools
    • Paired t-Test – Effect Size in Excel 2010, and Excel 2013
    • Paired t-Test – Test Power With G-Power Utility
    • Wilcoxon Signed-Rank Test in 8 Steps As a Paired t-Test Alternative
    • Sign Test in Excel As A Paired t-Test Alternative
• Hypothesis Tests of Proportion in Excel
  • Hypothesis Tests of Proportion Overview (Hypothesis Testing On Binomial Data)
  • 1-Sample Hypothesis Test of Proportion in 4 Steps in Excel 2010 and Excel 2013
  • 2-Sample Pooled Hypothesis Test of Proportion in 4 Steps in Excel 2010 and Excel 2013
  • How To Build a Much More Useful Split-Tester in Excel Than Google’s Website Optimizer
• Chi-Square Independence Tests in Excel
  • Chi-Square Independence Test in 7 Steps in Excel 2010 and Excel 2013
• Chi-Square Goodness-Of-Fit Tests in Excel
  • Overview of the Chi-Square Goodness-of-Fit Test
  • Chi-Square Goodness- of-Fit Test With Pre-Determined Bins Sizes in 7 Steps in Excel 2010 and Excel 2013
  • Chi-Square Goodness-Of-Fit-Normality Test in 9 Steps in Excel 2010 and Excel 2013
• F Tests in Excel
  • F-Test in 6 Steps in Excel 2010 and Excel 2013
  • Normality Testing For F Test In Excel 2010 and Excel 2013
  • Levene’s and Brown- Forsythe Tests: F-Test Alternatives in Excel
• Correlation in Excel
  • Overview of Correlation In Excel 2010 and Excel 2013
• Pearson Correlation in Excel
  • Pearson Correlation in 3 Steps in Excel 2010 and Excel 2013
  • Pearson Correlation – Calculating r Critical and p Value of r in Excel
• Spearman Correlation in Excel
  • Spearman Correlation in 6 Steps in Excel 2010 and Excel 2013
• Confidence Intervals in Excel
  • z-Based Confidence Intervals of a Population Mean in 2 Steps in Excel 2010 and Excel 2013
  • t-Based Confidence Intervals of a Population Mean in 2 Steps in Excel 2010 and Excel 2013
  • Minimum Sample Size to Limit the Size of a Confidence interval of a Population Mean
  • Confidence Interval of Population Proportion in 2 Steps in Excel 2010 and Excel 2013
  • Min Sample Size of Confidence Interval of Proportion in Excel 2010 and Excel 2013
• Simple Linear Regression in Excel
  • Overview of Simple Linear Regression in Excel 2010 and Excel 2013
  • Complete Simple Linear Regression Example in 7 Steps in Excel 2010 and Excel 2013
  • Residual Evaluation For Simple Regression in 8 Steps in Excel 2010 and Excel 2013
  • Residual Normality Tests in Excel – Kolmogorov-Smirnov Test, Anderson-Darling Test, and Shapiro-Wilk Test For Simple Linear Regression
  • Evaluation of Simple Regression Output For Excel 2010 and Excel 2013
  • All Calculations Performed By the Simple Regression Data Analysis Tool in Excel 2010 and Excel 2013
  • Prediction Interval of Simple Regression in Excel 2010 and Excel 2013
• Multiple Linear Regression in Excel
  • Basics of Multiple Regression in Excel 2010 and Excel 2013
  • Complete Multiple Linear Regression Example in 6 Steps in Excel 2010 and Excel 2013
  • Multiple Linear Regression’s Required Residual Assumptions
  • Normality Testing of Residuals in Excel 2010 and Excel 2013
  • Evaluating the Excel Output of Multiple Regression
  • Estimating the Prediction Interval of Multiple Regression in Excel
  • Regression — How To Do Conjoint Analysis Using Dummy Variable Regression in Excel
• Logistic Regression in Excel
  • Logistic Regression Overview
  • Logistic Regression in 6 Steps in Excel 2010 and Excel 2013
  • R Square For Logistic Regression Overview
  • Excel R Square Tests: Nagelkerke, Cox and Snell, and Log-Linear Ratio in Excel 2010 and Excel 2013
  • Likelihood Ratio Is Better Than Wald Statistic To Determine if the Variable Coefficients Are Significant For Excel 2010 and Excel 2013
  • Excel Classification Table: Logistic Regression’s Percentage Correct of Predicted Results in Excel 2010 and Excel 2013
  • Hosmer- Lemeshow Test in Excel – Logistic Regression Goodness-of-Fit Test in Excel 2010 and Excel 2013
• Single-Factor ANOVA in Excel
  • Overview of Single-Factor ANOVA
  • Single-Factor ANOVA in 5 Steps in Excel 2010 and Excel 2013
  • Shapiro-Wilk Normality Test in Excel For Each Single-Factor ANOVA Sample Group
  • Kruskal-Wallis Test Alternative For Single Factor ANOVA in 7 Steps in Excel 2010 and Excel 2013
  • Levene’s and Brown-Forsythe Tests in Excel For Single-Factor ANOVA Sample Group Variance Comparison
  • Single-Factor ANOVA — All Excel Calculations
  • Overview of Post-Hoc Testing For Single-Factor ANOVA
  • Tukey-Kramer Post-Hoc Test in Excel For Single-Factor ANOVA
  • Games-Howell Post-Hoc Test in Excel For Single-Factor ANOVA
  • Overview of Effect Size For Single-Factor ANOVA
  • ANOVA Effect Size Calculation Eta Squared in Excel 2010 and Excel 2013
  • ANOVA Effect Size Calculation Psi – RMSSE – in Excel 2010 and Excel 2013
  • ANOVA Effect Size Calculation Omega Squared in Excel 2010 and Excel 2013
  • Power of Single-Factor ANOVA Test Using Free Utility G*Power
  • Welch’s ANOVA Test in 8 Steps in Excel Substitute For Single-Factor ANOVA When Sample Variances Are Not Similar
  • Brown-Forsythe F-Test in 4 Steps in Excel Substitute For Single-Factor ANOVA When Sample Variances Are Not Similar
• Two-Factor ANOVA With Replication in Excel
  • Two-Factor ANOVA With Replication in 5 Steps in Excel 2010 and Excel 2013
  • Variance Tests: Levene’s and Brown-Forsythe For 2-Factor ANOVA in Excel 2010 and Excel 2013
  • Shapiro-Wilk Normality Test in Excel For 2-Factor ANOVA With Replication
  • 2-Factor ANOVA With Replication Effect Size in Excel 2010 and Excel 2013
  • Excel Post Hoc Tukey’s HSD Test For 2-Factor ANOVA With Replication
  • 2-Factor ANOVA With Replication – Test Power With G-Power Utility
  • Scheirer-Ray-Hare Test Alternative For 2-Factor ANOVA With Replication
• Two-Factor ANOVA Without Replication in Excel
  • Two-Factor ANOVA Without Replication in Excel 2010 and Excel 2013
• Randomized Block Design ANOVA in Excel
  • Randomized Block Design ANOVA in Excel 2010 and Excel 2013
• Repeated-Measures ANOVA in Excel
  • Single-Factor Repeated-Measures ANOVA in 4 Steps in Excel 2010 and Excel 2013
  • Sphericity Testing in 9 Steps For Repeated Measures ANOVA in Excel 2010 and Excel 2013
  • Effect Size For Repeated-Measures ANOVA in Excel 2010 and Excel 2013
  • Friedman Test in 3 Steps For Repeated-Measures ANOVA in Excel 2010 and Excel 2013
• ANCOVA in Excel
  • Single-Factor ANCOVA in 8 Steps in Excel 2010 and Excel 2013
• Normality Testing in Excel
  • Creating a Box Plot in 8 Steps in Excel
  • Creating a Normal Probability Plot With Adjustable Confidence Interval Bands in 9 Steps in Excel With Formulas and a Bar Chart
  • Chi-Square Goodness-of-Fit Test For Normality in 9 Steps in Excel
  • Kolmogorov-Smirnov, Anderson-Darling, and Shapiro-Wilk Normality Tests in Excel
• Nonparametric Testing in Excel
  • Mann-Whitney U Test in 12 Steps in Excel
  • Wilcoxon Signed-Rank Test in 8 Steps in Excel
  • Sign Test in Excel
  • Friedman Test in 3 Steps in Excel
  • Scheirer-Ray-Hope Test in Excel
  • Welch’s ANOVA Test in 8 Steps Test in Excel
  • Brown-Forsythe F Test in 4 Steps Test in Excel
  • Levene’s Test and Brown-Forsythe Variance Tests in Excel
  • Chi-Square Independence Test in 7 Steps in Excel
  • Chi-Square Goodness-of-Fit Tests in Excel
  • Chi-Square Population Variance Test in Excel
• Post Hoc Testing in Excel
  • Tukey’s HSD Post Hoc Test in Excel
  • Tukey-Kramer Post Hoc Test in Excel
  • Games-Howell Post Hoc Test in Excel
• Creating Interactive Graphs of Statistical Distributions in Excel
  • Interactive Statistical Distribution Graph in Excel 2010 and Excel 2013
  • Interactive Graph of the Normal Distribution in Excel 2010 and Excel 2013
  • Interactive Graph of the Chi-Square Distribution in Excel 2010 and Excel 2013
  • Interactive Graph of the t-Distribution in Excel 2010 and Excel 2013
  • Interactive Graph of the t-Distribution’s PDF in Excel 2010 and Excel 2013
  • Interactive Graph of the t-Distribution’s CDF in Excel 2010 and Excel 2013
  • Interactive Graph of the Binomial Distribution in Excel 2010 and Excel 2013
  • Interactive Graph of the Exponential Distribution in Excel 2010 and Excel 2013
  • Interactive Graph of the Beta Distribution in Excel 2010 and Excel 2013
  • Interactive Graph of the Gamma Distribution in Excel 2010 and Excel 2013
  • Interactive Graph of the Poisson Distribution in Excel 2010 and Excel 2013
• Solving Problems With Other Distributions in Excel
  • Solving Uniform Distribution Problems in Excel 2010 and Excel 2013
  • Solving Multinomial Distribution Problems in Excel 2010 and Excel 2013
  • Solving Exponential Distribution Problems in Excel 2010 and Excel 2013
  • Solving Beta Distribution Problems in Excel 2010 and Excel 2013
  • Solving Gamma Distribution Problems in Excel 2010 and Excel 2013
  • Solving Poisson Distribution Problems in Excel 2010 and Excel 2013
• Optimization With Excel Solver
  • Maximizing Lead Generation With Excel Solver
  • Minimizing Cutting Stock Waste With Excel Solver
  • Optimal Investment Selection With Excel Solver
  • Minimizing the Total Cost of Shipping From Multiple Points To Multiple Points With Excel Solver
  • Knapsack Loading Problem in Excel Solver – Optimizing the Loading of a Limited Compartment
  • Optimizing a Bond Portfolio With Excel Solver
  • Travelling Salesman Problem in Excel Solver – Finding the Shortest Path To Reach All Customers
• Chi-Square Population Variance Test in Excel
  • Overview of the Chi-Square Population Variance Test in Excel 2010 and Excel 2013
• Analyzing Data With Pivot Tables and Pivot Charts
  • Simplifying Excel Pivot Table and Pivot Chart Setup
• SEO Functions in Excel
  • Top 10 Excel SEO Functions — You’ll Like These
• Time Series Analysis in Excel
  • Forecasting With Exponential Smoothing in Excel
  • Forecasting With the Weighted Moving Average in Excel
  • Forecasting With the Simple Moving Average in Excel
• VLOOKUP
  • Simplifying Excel Lookup Functions: VLOOKUP, HLOOKUP, INDEX, MATCH, CHOOSE, and OFFSET
  • VLOOKUP — Just Like Looking Up a Number in a Telephone Book
  • VLOOKUP To Look Up a Discount in a Distant Database

Рассмотрим использование

MS

EXCEL

для прогнозирования переменной

Y

на основании нескольких переменных Х, т.е. множественную регрессию.

Перед прочтением этой статьи рекомендуется освежить в памяти

простую линейную регрессию

– прогнозирование на основе значений только одного фактора.

Disclaimer

: Данную статью не стоит рассматривать, как пересказ главы из учебника по статистике. Статья не обладает ни полнотой, ни строгостью изложения положений статистической науки. Эта статья – о применении MS EXCEL для целей

Множественного регрессионного анализа.

Теоретические отступления приведены лишь из соображения логики изложения. Использование данной статьи для изучения

Регрессии

– плохая идея.

Статья про

Множественный регрессионный анализ

получилась большая, поэтому ниже для удобства приведены ее разделы:

• Оценка неизвестных параметров
• Диаграмма рассеяния
• Вычисление прогнозных значений Y

  (отдельное наблюдение и среднее значение) и построение доверительных интервалов

• Стандартные ошибки и доверительные интервалы для коэффициентов регрессии
• Проверка гипотез
• Генерация данных для множественной регрессии с помощью заданного тренда
• Коэффициент детерминации

Прогнозирование единственной переменной Y на основании значений 2-х или более переменных Х называется

множественной регрессией

.

Множественная линейная регрессионная модель

(Multiple Linear Regression Model)

имеет вид Y=β

₀

+β

₁

*X

₁

+β

₂

*X

₂

+…+β

_k

*X

_k

+ε. В этом случае переменная Y зависит от k поясняющих переменных Х, т.е.

регрессоров

. ε —

случайная ошибка

. Модель является линейной относительно неизвестных параметров β.

Оценка неизвестных параметров

В этой статье рассмотрим модель с 2-мя регрессорами. Сначала введем необходимые обозначения и понятия множественной регрессии.

Для описания зависимости Y от 2-х переменных

линейная модель

имеет вид:

Y=β

₀

+β

₁

*X

₁

+β

₂

*X

₂

+ε.

Параметры этой модели β

_i

нам неизвестны, но их можно оценить, используя случайную выборку (измеренные значения переменной Y от заданных Х). Оценки параметров модели (β

₀

, β

₁

, β

₂

) обычно вычисляются

методом наименьших квадратов (МНК)

, который минимизирует сумму квадратов ошибок прогнозирования (критерий минимизации в англоязычной литературе обозначают как SSE – Sum of Squared Errors).

Соответствующие оценки параметров будем обозначать как

b

₀

,

b

₁

и

b

₂

.

Ошибка ε имеет случайную природу и имеет свою функцию распределения со

средним значением

=0 и

дисперсией σ

²

.

Оценки

b

₁

и

b

₂

называются

коэффициентами регрессии

, они определяют влияние соответствующей переменной X, когда все остальные независимые переменные остаются

неизменными

.

Сдвиг (intercept)

или

постоянный

член

b

₀

, определяет прогнозируемое значение Y, когда все поясняющие переменные Х равны 0 (часто

сдвиг

не имеет физического смысла в рамках модели и обусловлен лишь математическими вычислениями

МНК

).

Вычислив оценки, полученные методом

МНК,

позволяют прогнозировать значения переменной Y:

Y=

b

₀

+

b

₁

*X

₁

+

b

₂

*X

₂

Примечание

: Для случая 2-х регрессоров, все спрогнозированные значения переменной Y будут лежать в плоскости (в

плоскости регрессии

).

В качестве примера рассмотрим технологический процесс изготовления нити:

Инженер, на основе имеющегося опыта, предположил, что

прочность нити

Y зависит от

концентрации исходного раствора

(Х

₁

) и

температуры реакции

(Х

₂

), и соответствует модели линейной регрессии. Для нахождения комбинации переменных Х, при которых Y принимает максимальное значение, необходимо определить коэффициенты регрессии, сделав выборку.

В MS EXCEL

коэффициенты множественной регрессии

удобнее всего вычислить с помощью функции

ЛИНЕЙН()

. Это сделано в

файле примера на листе Коэффициенты

. Чтобы вычислить оценки:

• выделите 3 ячейки в одной строке (т.к. мы рассматриваем случай 2-х регрессоров, то будут вычислены 2
  
  коэффициента регрессии
  
  +
  
  величина сдвига
  
  = 3 значения, для вывода которых понадобится 3 ячейки). Пусть это будет диапазон
  
  С8:Е8
  
  ;
• в

  Строке формул

  введите =
  
  ЛИНЕЙН(D20:D50;B20:C50)
  
  . Предполагается, что в столбце
  
  В
  
  содержатся прогнозируемые значения Y (в нашей модели это Прочность нити), в столбцах
  
  С
  
  и
  
  D
  
  содержатся значения контролируемых параметров Х (Х1 – Концентрация в столбце С и Х2 – Температура в столбце D).

• нажмите
  
  CTRL
  
  +
  
  SHIFT
  
  +
  
  ENTER
  
  (т.к. это

  формула массива

  ).

В левой ячейке будет рассчитано значение

коэффициента регрессии

b

2

для переменной Х2, в средней ячейке — значение

коэффициента регрессии

b

1

для переменной Х1, в правой –

сдвиг

. Обратите внимание, что порядок вывода

коэффициентов

регрессии

обратный по отношению к расположению столбцов с данными соответствующих переменных Х (вычисленный коэффициент

b

2

располагается

левее

по отношению к

b

1

, тогда как значения переменной Х2 располагаются

правее

значений переменной Х1). Это может привести к путанице, поэтому лучше разместить коэффициенты над соответствующими столбцами с данными, как это сделано в строке 17

файла примера

.

Примечание

: В принципе без функции

ЛИНЕЙН()

можно обойтись, записав альтернативные формулы. Для этого в

файле примера на листе Коэффициенты

в столбцах

I

:

K

вычислены отклонения значений переменных Х

_1i

, Х

_2i

, Y

_i

от их средних значений

, т.е.:

Далее коэффициенты регрессии рассчитываются по следующим формулам (эти формулы справедливы только при прогнозировании по 2-м независимым переменным Х):

При прогнозировании по 3-м и более независимым переменным Х формулы для вычисления

коэффициентов регрессии

значительно усложняются, поэтому следует использовать матричный подход.

В

файле примера на листе Матричная форма

выполнены расчеты

коэффициентов регрессии

с помощью матричного подхода.

Расчет можно произвести как пошагово, так и одной

формулой массива

:

=МУМНОЖ(МОБР(МУМНОЖ(ТРАНСП(B9:D33);(B9:D33)));МУМНОЖ(ТРАНСП(B9:D33);(E9:E33)))

Коэффициенты регрессии

(вектор

b

)

в этом случае вычисляются по формуле

b

=(X

^T

X)

^-1

(X

^T

Y) или в другом виде записи

b

=(X

^’

X)

^-1

(X

^’

Y)

Под Х подразумевается матрица, состоящая из столбцов значений переменной Х с дополнительным столбцом единиц, а под Y – вектор-столбец значений Y.

Символ

^Т

или ‘ – это

транспонирование матрицы

, а обозначение

^-1

говорит о

вычислении обратной матрицы

.

Диаграмма рассеяния

В случае

простой линейной регрессии

(один регрессор, т.е. одна переменная Х) для визуализации связи между прогнозируемым значением Y и переменной Х строят

диаграмму рассеяния

(двумерную).

В случае

множественной

линейной регрессии

двумерную диаграмму рассеяния можно построить только для анализа влияния каждого отдельного регрессора на Y (при этом остальные Х не меняются), т.е. так называемую Матричную диаграмму рассеивания (См.

файл примера лист Диагр расс (матричная)

).

К сожалению, такую диаграмму трудно интерпретировать.

Более того, матричная диаграмма может вводить в заблуждение (см.

Introduction

to

linear

regression

analysis

/

D

.

C

.

Montgomery

,

E

.

A

.

Peck

,

G

.

G

.

Vining

, раздел 3.2.5

), демонстрируя наличие или отсутствие линейной взаимосвязи между отдельным регрессором X

_i

и Y.

Для случая с 2-мя регрессорами можно предложить альтернативный вид матричной

диаграммы рассеяния

. В стандартной диаграмме рассеяния строятся проекции на координатные плоскости Х1;Х2, Y;X1 и Y;X2. Однако, если взглянуть на точки относительно

плоскости регрессии

, то картину, на мой взгляд, будет проще интерпретировать.

Сравним две матричные диаграммы рассеяния (см.

файл примера на листе «Диагр расс (в плоск регрессии)»

, построенные для одних и тех же наблюдений. Первая – стандартная,

вторая представляет собой вид сверху на плоскость регрессии и 2 вида вдоль плоскости.

На второй диаграмме становится очевидно, что разброс точек относительно плоскости регрессии совсем не большой и поэтому, скорее всего, построенная модель является полезной, а выбранные 2 переменные Х позволяют прогнозировать Y (конечно, для подтверждения этой гипотезы нужно

провести процедуру F-теста

).

Несколько слов о построении альтернативной матричной диаграммы рассеяния:

• Перед построением необходимо нормировать значения наблюдений (для каждой переменной вычесть

  среднее

  и разделить на

  стандартное отклонение

  ). В этом случае практически все точки на диаграммах будут находится в диапазоне +/-3 (по аналогии со

  стандартным нормальным распределением

  , 99% значений которого лежат в пределах +/-3 сигма). В этом случае, на диаграмме можно фиксировать мин/макс значений осей, чтобы EXCEL автоматически не модифицировал масштаб осей при изменении данных (это не всегда удобно);

• Теперь координаты точек необходимо рассчитать в системе отсчета относительно плоскости регрессии (в которой плоскость Оху’ совпадает с плоскостью регрессии). Для этого необходимо найти

  матрицу вращения

  , например, через вращение приводящее к совмещению нормали к плоскости регрессии и вектора оси Z (0;0;1);

• Новые координаты позволяют построить альтернативную матричную диаграмму. Кроме того, для удобства можно вращать систему координат вокруг новой оси Z, чтобы нагляднее представить себе распределение точек относительно плоскости регрессии (для этого использована Полоса прокрутки в ячейках
  
  Q
  
  31:
  
  S
  
  31
  
  ).

Вычисление прогнозных значений Y (отдельное наблюдение и среднее значение) и построение доверительных интервалов

После того, как нами были найдены тем или иным способом коэффициенты регрессии можно приступать к вычислению прогнозных значений Y на основе заданных значений переменных Х.

Уравнение прогнозирования или уравнение регрессии в случае 2-х независимых переменных (регрессоров) записывается в виде:

Y=

b

₀

+

b

₁

*

Х

₁

+

b

₂

*

Х

₂

Примечание:

В MS EXCEL

прогнозное значение Y для заданных Х

₁

и Х

₂

можно также предсказать с помощью функции

ТЕНДЕНЦИЯ()

. При этом 2-й аргумент будет ссылкой на столбцы, содержащие все значения переменных Х

₁

и Х

₂

, а 3-й аргумент функции должен быть ссылкой на диапазон ячеек, содержащий 2 значения Х (Х

_1i

и Х

_2i

) для выбранного наблюдения i (см.

файл примера, лист Коэффициенты, столбец G

). Функция

ПРЕДСКАЗ()

, использованная нами в простой регрессии, не работает в случае

множественной регрессии

.

Найдя прогнозное значение Y, мы, таким образом, вычислим его точечную оценку. Понятно, что фактическое значение Y, полученное при наблюдении, будет, скорее всего, отличаться от этой оценки. Чтобы ответить на вопрос о том, на сколько хорошо мы можем предсказывать новые значения Y, нам потребуется построить

доверительный интервал

этой оценки, т.е. диапазон в котором с определенной заданной вероятностью, скажем 95%, мы ожидаем новое значение Y.

Доверительные интервалы

построим при фиксированном Х для:

• нового наблюдения Y;
• среднего значения Y (интервал будет уже, чем для отдельного нового наблюдения)

Как и в случае

простой линейной регрессии

, для построения

доверительных интервалов

нам потребуется сначала вычислить

стандартную ошибку модели

(standard error of the model)

, которая приблизительно показывает насколько велика ошибка предсказания значений переменной Y на основании значений переменных Х.

Для вычисления

стандартной ошибки

оценивают

дисперсию

ошибки ε, т.е. сигма^2

(ее часто обозначают как

MS

Е либо

MSres

)

. Затем, вычислив из полученной оценки квадратный корень, получим

Стандартную ошибку регрессии (часто обозначают как

SEy

или

sey

).

где SSE – сумма квадратов значений ошибок модели ei=yi — ŷi (

Sum of Squared Errors

). MSE означает Mean Square of Errors (среднее квадратов ошибок, точнее остатков).

Величина n-p – это количество

степеней свободы

(

df

–

degrees

of

freedom

), т.е. число параметров системы, которые могут изменяться независимо (вспомним, что у нас в этом примере есть n независимых наблюдений переменной Y, р – количество оцениваемых параметров модели). В случае

простой множественной регрессии

с 2-мя регрессорами

число степеней свободы

равно n-3, т.к. при построении

плоскости регрессии

было оценено 3 параметра модели

b

(т.е. на это было «потрачено» 3

степени свободы

).

В MS EXCEL

стандартную ошибку

SEy можно вычислить формулы (см.

файл примера, лист Статистика

):

=

ИНДЕКС(ЛИНЕЙН($E$13:$E$43;$C$13:$D$43;;ИСТИНА);3;2)

Стандартная ошибка

нового наблюдения Y при заданных значениях Х (вектор Хi) вычисляется по формуле:

x

_i

— вектор-столбец со значениями переменных Х (с дополнительной 1) для заданного наблюдения i.

Соответствующий доверительный интервал вычисляется по формуле:

где α (альфа) –

уровень значимости

(обычно принимают равным 0,05=5%)

р – количество оцениваемых параметров модели (в нашем случае = 3)

n-p – число степеней свободы

–

квантиль

распределения Стьюдента

(задает количество

стандартных ошибок

, в +/- диапазоне которых вероятность обнаружить новое наблюдение равно 1-альфа). Т.е. если

квантиль

равен 2, то диапазон шириной +/- 2

стандартных ошибок

относительно прогнозного значения Y будет с вероятностью 95% содержать новое наблюдение Y (для каждого заданного Хi). В MS EXCEL вычисления квантиля производят по формуле =

СТЬЮДЕНТ.ОБР.2Х(0,05;n-p)

, подробнее см.

в статье про распределение Стьюдента

.

– прогнозное значение Yi вычисляемое по формуле Yi=

b

0+

b

1*

Х1i+

b

2*

Х2i (точечная оценка).

Стандартная ошибка

среднего значения Y при заданных значениях Х (вектор Хi) будет меньше, чем стандартная ошибка отдельного наблюдения. Вычисления производятся по формуле:

x

_i

— вектор-столбец со значениями переменных Х (с дополнительной 1) для заданного наблюдения i.

Соответствующий

доверительный интервал

вычисляется по формуле:

Прогнозное значение Yi (точечная оценка) используется тоже, что и для отдельного наблюдения.

Стандартные ошибки и доверительные интервалы для коэффициентов регрессии

В разделе

Оценка неизвестных параметров

мы получили точечные оценки

коэффициентов регрессии

. Так как эти оценки получены на основе случайных величин (значений переменных Х и Y), то эти оценки сами являются случайными величинами и соответственно имеют функцию распределения со

средним значением

и

дисперсией

. Но, чтобы перейти от

точечных оценок

к

интервальным

, необходимо вычислить соответствующие

стандартные ошибки

(т.е.

стандартные отклонения

)

коэффициентов регрессии

.

Стандартная ошибка коэффициента регрессии

b

_j

(обозначается

se

(

b

_j

)

) вычисляется на основании

стандартной ошибки

по следующей формуле:

где C

_jj

является диагональным элементом матрицы (X

^’

X)

^-1

. Для коэффициента сдвига

b

₀

индекс j=1 (верхний левый элемент), для

b

₁

индекс j=2,

b

₂

индекс j=3 (нижний правый элемент).

SEy –

стандартная ошибка регрессии

(см.

выше

).

В MS EXCEL

стандартные ошибки коэффициентов регрессии

можно вычислить с помощью функции

ЛИНЕЙН()

:

=

ИНДЕКС(ЛИНЕЙН($E$13:$E$43;$C$13:$D$43;;ИСТИНА);2;j)

Примечание

: Подробнее о функции

ЛИНЕЙН()

см. статью

Функция MS EXCEL ЛИНЕЙН()

.

Применяя матричный подход

стандартные ошибки

можно вычислить и через обычные формулы (точнее через

формулу массива

, см.

файл примера лист Статистика

):

=

КОРЕНЬ(СУММКВРАЗН(E13:E43;F13:F43) /(n-p)) *КОРЕНЬ (ИНДЕКС (МОБР (МУМНОЖ(ТРАНСП(B13:D43);(B13:D43)));j;j))

При построении

двухстороннего доверительного интервала

для

коэффициента регрессии

его границы определяются следующим образом:

b

_j

+/- t*Se(

b

_j

)

где t – это

t-значение

, которое можно вычислить с помощью формулы =

СТЬЮДЕНТ.ОБР.2Х(0,05;n-p)

для

уровня значимости

0,05.

В результате получим, что найденный

доверительный интервал

с вероятностью 95% (1-0,05) накроет истинное значение

коэффициента регрессии

b

_j

.

Здесь мы считаем, что

коэффициент регрессии

b

_j

имеет

распределение Стьюдента

с n-p

степенями свободы

(n – количество наблюдений, т.е. пар Х и Y).

Проверка гипотез

Когда мы строим модель, мы предполагаем, что между Y и переменными X существует линейная взаимосвязь. Однако, как это иногда бывает в статистике, можно вычислять параметры связи даже тогда, когда в действительности она не существует, и обусловлена лишь случайностью.

Единственный вариант, когда Y не зависит X, возможен, когда все

коэффициенты регрессии

β

равны 0.

Чтобы убедиться, что вычисленная нами оценка

коэффициентов регрессии

не обусловлена лишь случайностью (они не случайно отличны от 0), используют

проверку гипотез

. В качестве

нулевой гипотезы

Н

₀

принимают, что линейной связи нет, т.е. ВСЕ β=0. В качестве альтернативной гипотезы

Н

₁

принимают, что ХОТЯ БЫ ОДИН коэффициент β <>0.

Процедура проверки значимости множественной регрессии, приведенная ниже, является обобщением

дисперсионного анализа

, использованного нами в случае

простой линейной регрессии (F-тест)

.

Если нулевая гипотеза справедлива, то

тестовая

F

-статистика

имеет

F-распределение

со степенями свободы

k

и

n

—

k

-1

, т.е. F

_{k, n-k-1}

:

Проверку значимости регрессии можно также осуществить через вычисление

p

-значения

. В этом случае вычисляют вероятность того, что случайная величина F примет значение F

₀

(это и есть

p-значение

), затем сравнивают p-значение с заданным

уровнем значимости α (альфа)

. Если

p-значение

больше уровня значимости

,

то нулевую гипотезу нет оснований отклонить, и регрессия незначима.

В MS EXCEL значение F

₀

можно вычислить на основании значений выборки по вышеуказанной формуле или с помощью функции

ЛИНЕЙН()

:

=

ИНДЕКС(ЛИНЕЙН(E13:E43; C13:D43;;ИСТИНА);4;1)

В MS EXCEL для проверки гипотезы через

p

-значение

используйте формулу =F.РАСП.ПХ(F

₀

;k;n-k-1)<

альфа

Если формула вернет ИСТИНА, то регрессия значима. Если формула вернет ЛОЖЬ, то у нас нет оснований отклонить нулевую гипотезу, т.е. «скорее всего» все коэффициенты регрессии равны 0 (см.

файл примера лист Статистика

, где показано эквивалентность обоих подходов проверки значимости регрессии).

В MS EXCEL критическое значение для заданного

уровня значимости

F

_{1-альфа, k, n-k-1}

можно вычислить по формуле =

F.ОБР(1- альфа;k;n-k-1)

или =

F.ОБР.ПХ(альфа;k; n-k-1)

. Другими словами требуется вычислить

верхний альфа-

квантиль

F

-распределения

с соответствующими

степенями свободы

.

Таким образом, при значении статистики F

₀

> F

_{1-альфа, k, n-k-1}

мы имеем основание для отклонения нулевой гипотезы.

В программах статистики результаты процедуры

F

-теста

выводят с помощью стандартной таблицы

дисперсионного анализа

. В

файле примера такая таблица приведена на листе Надстройка

, которая построена на основе результатов, возвращаемых инструментом

Регрессия надстройки Пакета анализа MS EXCEL

.

Генерация данных для множественной регрессии с помощью заданного тренда

Иногда, бывает удобно сгенерировать значения наблюдений, имея заданный тренд.

Для решения этой задачи нам потребуется:

• задать значения регрессоров в нужном диапазоне (значения переменных Х);
• задать коэффициенты регрессии (
  
  b
  
  );
• задать тренд (вычислить значения Y=
  
  b
  
  ₀
  
  +
  
  b
  
  ₁
  
  *
  
  Х
  
  ₁
  
  +
  
  b
  
  ₂
  
  *
  
  Х
  
  ₂
  
  );
• задать величину разброса Y вокруг тренда (варианты: случайный разброс в заданных границах или заданная фигура, например, круг)

Все вычисления выполнены в

файле примера, лист Тренд

для случая 2-х регрессоров. Там же построены

диаграммы рассеяния

.

Коэффициент детерминации

Коэффициент детерминации

R

²

показывает насколько полезна построенная нами

линейная регрессионная модель

.

По определению

коэффициент детерминации

R

²

равен:

R

²

=

Изменчивость объясненная моделью (

SSR

) / Общая изменчивость (

SST

).

Этот показатель можно вычислить с помощью функции

ЛИНЕЙН()

:

=

ИНДЕКС(ЛИНЕЙН(E13:E43;C13:D43;;ИСТИНА);3)

При добавлении в модель новой объясняющей переменной Х,

коэффициент детерминации

будет всегда расти. Поэтому, рост

коэффициента детерминации

не может служить основанием для вывода о том, что новая модель (с дополнительным регрессором) лучше прежней.

Более подходящей статистикой, которая лишена указанного недостатка, является

нормированный

коэффициент детерминации

(Adjusted R-squared):

где p – число независимых

регрессоров

(вычисления см.

файл примера лист Статистика

).