Real statistics using excel

Excel provides a Sampling data analysis tool that can be used to create samples. The tool works by defining the population as an array in an Excel worksheet and then using the following input parameters to determine how you would like to carry out the sampling.

Input Range – Specify the range of data that contains the population of values you want to sample. Excel draws samples from the first column, then the second column, and so on.

Sampling Method – Select one of the following two sampling intervals:

• Periodic – In this case, you specify the Period n at which you want sampling to take place. The nth value in the input range and every nth value thereafter is copied to the output column. Sampling stops when the end of the input range is reached.

• Random – In this case, you specify the Random Number of Samples.  This number of values is drawn from random positions in the input range. A value can be selected more than once. (i.e. sampling is with replacement).

Example 1: From a population of 10 women and 10 men as given in the table in Figure 1 on the left below, create a random sample of 6 people for Group 1 and a periodic sample consisting of every 3^rd woman for Group 2.

Figure 1 – Creating random and periodic samples

You need to run the sampling data analysis tool twice, once to create Group 1 and again to create Group 2. For Group 1 you select all 20 population cells as the Input Range and Random as the Sampling Method with 6 for the Random Number of Samples.  For Group 2 you select the 10 cells in the Women column as Input Range and Periodic with Period 3.

Observation: The Sampling data analysis tool has a number of limitations which unfortunately reduces its usefulness. These include:

• Only numeric data (including blank) can be used.
• If in the example above the number of women is not equal to the number of men any blank cells will simply be treated as data and can be chosen for inclusion in a sample.
• The Label option does not function properly and so should not be used
• Random sampling is with replacement. As you can see from the example, the number 2 is chosen twice in the Group 1 sample.

As a result, it often better to use other approaches to create a sample. We now show how to create the Group 1 sample above without duplicates.

Example 2: Recreate Group 1 from Example 1 without allowing any duplicates.

We accomplish this by creating a worksheet as in Figure 2.

Figure 2 – Creating a random sample without replacement

Column A consists of the data elements in the population (as taken from Figure 1). Column B consists of random numbers between 0 and 1. These are generated using the Excel function RAND(). Simply enter =RAND() in cell B4 and then highlight the range B4:B23 and enter Ctrl-D. This will place the formula =RAND() in every cell in the range B4:B23.

Finally create column C by putting the following formula in cell C4 and then copying it down (using Ctrl-D as described above) for as many rows as you want items in the sample.

=INDEX(A$4:A$23,RANK(B4,B$4:B$23))

Observation: If we wanted to generate a sample of size 6 with replacement, we would use the following formula in cell C4 instead (column B would not be necessary):

=INDEX(A$4:A$23,RANDBETWEEN(1,COUNT(A$4:A$23)))

Real Statistics Excel Functions: The Real Statistics Resource Pack provides the following useful array functions that allow you to avoid the complex syntax described above.

SHUFFLE(R1, filler, nrows, ncols): returns an nrows ⨯ ncols array with elements from R1 drawn at random without replacement (i.e. it shuffles the elements in R1). The string filler is used as a filler in case the output array has more cells than R1. This second argument is optional and defaults to the error value #N/A; ncols defaults to 1.

RANDOMIZE(R1, nrows, ncols): returns an nrows ⨯ ncols array with elements from R1 drawn at random with replacement; ncols defaults to 1.

If nrows = 0 or is omitted then the output array is the highlighted range on the active worksheet. If nrows < 0 then the output is an array of the same size and shape as R1; in both these cases, ncols is not used and can be omitted.

The Real Statistics Resource Pack also provides the following functions which support dynamic arrays:

SHUFFLES(R1): returns an array of the same size and shape as R1 with elements from R1 drawn at random without replacement (i.e. it shuffles the elements in R1).

RANDOMIZES(R1): returns an array of the same size and shape as R1 with elements from R1 drawn at random with replacement

PowerPoint

Real Statistics Using Excel102521088 Confidence and prediction
intervals for regression

Exponential Regression Model

Power Regression Model

Linear regression models for comparing meansOut line Confidence
and prediction intervals for regression

The 95% confidence interval for the forecasted values ofxis

Where

This means that there is a 95% probability that the true linear
regression line of the population will lie within the confidence
interval of the regression line calculated from the sample
data.

The 95% prediction interval of the forecasted value 0forx0is

where thestandard error of the predictionis

For any specific valuex0the prediction interval is more
meaningful than the confidence interval.

Figure 2 Confidence and prediction intervals for data in Example
1Find the 95% confidence and prediction intervals for the
forecasted life expectancy for men who smoke 20 cigarettes in
Example 1 ofMethod of Least SquaresReferring to Figure 2, we see
that the forecasted value for 20 cigarettes is given by FORECAST
(20,B4:B18,A4:A18) = 73.16. The confidence interval, calculated
using the standard error 2.06 (found in cell E12), is (68.70,
77.61).

The prediction interval is calculated in a similar way using the
prediction standard error of 8.24 (found in cell J12). Thus life
expectancy of men who smoke 20 cigarettes is in the interval
(55.36, 90.95) with 95% probability.

Example 2: Test whether the y-intercept is 0.We use the same
approach as that used in Example 1 to find the confidence interval
of whenx= 0 (this is the y-intercept). The result is given in
column M of Figure 2. Here the standard error is And so the
confidence interval is

Since 0 is not in this interval, the null hypothesis that the
y-intercept is zero is rejected.Exponential Regression Model

Observation: Sincee(x+1)=exe, we note that an increase inxof 1
unit results in y being multiplied bye.Observation: A model of the
form ln y =x + is referred to as alog-level regression model.
Clearly any such model can be expressed as an exponential
regression model of form y =exby setting = e.

Example 1: Determine whether the data on the left side of Figure
1 fits with an exponential model.

Figure 1 Data for Example 1 and log transformThe table on the
right side of Figure 1 shows ln y (the natural log of y) instead of
y. We now use the Regression data analysis tool to model the
relationship between ln y andx.

Figure 2 Regression data analysis forxvs. ln yfrom Example 1

We can also see the relationship between and by creating a
scatter chart for the original data and choosingLayout >
Analysis|Trendlinein Excel and then selecting the Exponential
Trendline option. We can also create a chart showing the
relationship between and ln and use Linear Trendline to show the
linear regression line .

As usual we can use the formula y = 14.05(1.016)xdescribed above
for prediction. Thus if we want the y value corresponding tox= 26,
using the above model we get =14.05(1.016)26= 21.35.We can get the
same result using Excels GROWTH function, as described below.Excel
Functions:Excel supplies two functions for exponential regression,
namely GROWTH and LOGEST.LOGESTis the exponential counterpart to
the linear regression function LINEST described inTesting the Slope
of the Regression Line. Once again you need to highlight a 5 2 area
and enter the array function =LOGEST(R1, R2, TRUE, TRUE), where R1
= the array of observed values for y (not ln y) and R2 is the array
of observed values forx, and then press Ctrl-Shft-Enter. LOGEST
doesnt supply any labels and so you will need to enter these
manually.

Essentially LOGEST is simply LINEST using the mapping described
above for transforming an exponent model into a linear model. For
Example 1 the output for LOGEST(B6:B16, A6:A16, TRUE, TRUE) is as
in Figure 4.

GROWTHis the exponential counterpart to the linear regression
function TREND described inMethod of Least Squares. For R1 = the
array containing the y values of the observed data and R2 = the
array containing thexvalues of the observed data, GROWTH(R1, R2,x)
= EXP(a) * EXP(b)^xwhere EXP(a) and EXP(b) are as defined from the
LOGEST output described above (or alternatively from the Regression
data analysis). E.g., based on the data from Example 1, we
have:GROWTH(B6:B16, A6:A16, 26) = 21.35which is the same result we
obtained earlier using the Regression data analysis tool.GROWTH can
also be used to predict more than one value. In this case,
GROWTH(R1, R2, R3) is an array function where R1 and R2 are as
described above and R3 is an array ofxvalues. The function returns
an array of predicted values for thexvalues in R3 based on the
model determined by the values in R1 and R2.

Power Regression Model

Example 1: Determine whether the data on the left side of Figure
1 is a good fit for a power model.

The table on the right side of Figure 1 shows y transformed into
ln y andxtransformed into lnx. We now use the Regression data
analysis tool to model the relationship between ln y and lnx.

We can also see the relationship between and by creating a
scatter chart for the original data and choosingLayout >
Analysis|Trendlinein Excel and then selecting the Power Trendline
option (after choosing More Trendline Options). We can also create
a chart showing the relationship between lnxand ln y and use Linear
Trendline to show the linear regression line

As usual we can use the formula described above for prediction.
For example, if we want the y value corresponding tox= 26, using
the above model we getExcel doesnt provide functions like
TREND/GROWTH (nor LINEST/LOGEST) for power/log-log regression, but
we can use the TREND formula as
follows:=EXP(TREND(LN(B6:B16),LN(A6:A16),LN(26)))to get the same
result.Observation: Thus the equivalent of the array formula
GROWTH(R1, R2, R3) for log-log regression is =EXP(TREND(LN(R1),
LN(R2), LN(R3))).Observation: In the case where there is one
independent variablex, there are four ways of making log
transformations, namelylevel-level regression: y =x +log-level
regression: lny =x +level-log regression:y =lnx +log-log
regression: lny =lnx +We dealt with the first of these in ordinary
linear regression (no log transformation). The second is described
inExponential Regressionand the fourth is power regression as
described on this webpage. We havent studied the level-log
regression, but it too can be analyzed using techniques similar to
those described here.

Linear regression models for comparing meansIn this section we
show how to use dummy variables to model categorical variables
using linear regression in a way that is similar to that employed
inDichotomous Variables and the t-test. In particular we show that
hypothesis testing of the difference between means using the t-test
(seeTwo Sample t Test with Equal VariancesandTwo Sample t Test with
Unequal Variances) can be done by using linear regression.Example
1: Repeat the analysis of Example 1 ofTwo Sample t Test with Equal
Variances(comparing means from populations with equal variance)
using linear regression.

The leftmost table in Figure 1 contains the original data from
Example 1 ofTwo Sample t Test with Equal Variances. We define the
dummy variablexso thatx= 0 when the data element is from the New
group andx= 1 when the data element is from the Old group. The data
can now be expressed with an independent variable and a dependent
variable as described in the middle table in Figure 1.Running the
Regression data analysis tool onxand y, we get the results on the
right in Figure 1. We can now compare this with the results we
obtained using the t-test data analysis tool, which we repeat here
in Figure 2.

Effect SizeWe can also see from the above discussion that the
regression coefficient can be expressed as a function of the t-stat
using the following formula:

The impact of this is that the effect size for the t-test can be
expressed in terms of the regression coefficient. The general
guidelines are thatr= .1 is viewed as a small effect,r= .3 as a
medium effect andr= .5 as a large effect. For Example 1,r= 0.456
which is close to .5, and so is viewed as a large effect.Note that
this formula can also be used to measure the effect size for
t-tests even when the population variances are unequal (see next
example) and for the case of paired samples.Model coefficientsAlso
note that the coefficients in the regression model y =bx + acan be
calculated directly from the original data as follows. First
calculate the means of the data for each flavoring (new and old).
The mean of the data in the new flavoring sample is 15 and the mean
of the data in the old flavoring sample is 11.1. Sincex= 0 for the
new flavoring sample andx= 1 for the old flavoring sample, we
have

This means thata= 15 andb= 11.1 a= 11.1 15 = -3.9, and so the
regression line is y = 15 3.9x,which agrees with the coefficients
in Figure 1.Unequal varianceAs was mentioned in the discussion
following Figure 4 ofTesting the Regression Line Slope, the
Regression data analysis tool provides an optional Residuals Plot.
The output for Example 1 is displayed in Figure 3.

From the chart we see how the residual values corresponding tox=
0 andx= 1 are distributed about the mean of zero. The spreading
aboutx= 1 is a bit larger than forx= 0, but the difference is quite
small, which is an indication that the variances forx= 0 andx= 1
are quite equal. This suggests that the variances for the New and
Old samples are roughly equal.Example 2: Repeat the analysis of
Example 2 ofTwo Sample t Test with Unequal Variances(comparing
means from populations with unequal variance) using linear
regression.

We note that the regression analysis displayed in Figure 4
agrees with the t-test analysis assuming equal variances (the table
on the left of Figure 5).

Unfortunately, since the variances are quite unequal, the
correct results are given by the table on the right in Figure 5.
This highlights the importance of the requirement that variances of
the values for each be equal for the results of the regression
analysis to be useful.Also note that the plot of the Residuals for
the regression analysis clearly shows that the variances are
unequal (see Figure 6).

Thanks for your attention

После этого обязательно сообщите Excel, имеют ли ваши данные метки, хотите ли вы выводить данные на новом листе или на том же листе, а также хотите ли вы получить сводную статистику и другие параметры.

После этого нажмите ОК , и вы получите описательную статистику:

Студенческий т-тест в Excel

T- тест является одним из самых основных статистических тестов, и его легко вычислить в Excel с помощью Toolpak. Нажмите кнопку « Анализ данных» и прокрутите вниз, пока не увидите параметры t -test.

У вас есть три варианта:

• t-тест: две пары для средних значений должны использоваться, когда ваши измерения или наблюдения были спарены. Используйте это, когда вы делали два измерения одного и того же человека, например, измеряли артериальное давление до и после вмешательства.
• t-критерий: две выборки, предполагающие равные отклонения, должны использоваться, когда ваши измерения независимы (что обычно означает, что они были сделаны на двух разных предметных группах). Мы обсудим часть «равных дисперсий» чуть позже.
• t-критерий: две выборки, предполагающие неравные отклонения , также предназначены для независимых измерений, но используются, когда отклонения не равны.

Чтобы проверить, равны ли отклонения ваших двух выборок, вам нужно запустить F-тест. Найдите F-Test Two-Sample для отклонений в списке инструментов анализа, выберите его и нажмите OK .

Введите два набора данных в поля ввода диапазона. Оставьте альфа-значение на уровне 0,05, если у вас нет причин для его изменения — если вы не знаете, что это значит, просто оставьте. Наконец, нажмите ОК .

Excel выдаст вам результаты на новом листе (если вы не выбрали Выходной диапазон и ячейку на текущем листе):

Вы смотрите на P-значение здесь. Если оно меньше 0,05, у вас неравные отклонения . Таким образом, чтобы запустить t -test, вы должны использовать опцию неравных отклонений.

Чтобы запустить t -тест, выберите соответствующий тест в окне инструментов анализа и выберите оба набора данных таким же образом, как вы делали для F-теста. Оставьте значение альфа на 0,05 и нажмите ОК .

Результаты включают все, что вам нужно сообщить для t- теста: средние значения, степени свободы (df), t-статистику и P-значения для одно- и двусторонних тестов. Если значение P составляет менее 0,05, два образца значительно различаются.

Если вы не уверены, следует ли использовать одно- или двусторонний t- тест, обратитесь к этому объяснителю из UCLA .

ANOVA в Excel

Пакет инструментов анализа данных Excel предлагает три типа дисперсионного анализа (ANOVA). К сожалению, это не дает вам возможности запустить необходимые дополнительные тесты, такие как Tukey или Bonferroni. Но вы можете увидеть, есть ли связь между несколькими разными переменными.

Вот три теста ANOVA в Excel:

• ANOVA: Single Factor анализирует дисперсию с одной зависимой переменной и одной независимой переменной. Предпочтительно использовать несколько t- тестов, когда у вас более двух групп.
• ANOVA: двухфакторный с репликацией подобен парному t- тесту; это включает многократные измерения на единственных предметах. «Двухфакторная» часть этого теста указывает на наличие двух независимых переменных.
• ANOVA: двухфакторный без репликации включает две независимые переменные, но не репликации в измерении.

Здесь мы рассмотрим однофакторный анализ. В нашем примере мы рассмотрим три набора чисел, помеченных «Вмешательство 1», «Вмешательство 2» и «Вмешательство 3.». Чтобы запустить ANOVA, нажмите « Анализ данных» , затем выберите « ANOVA: однофакторный фактор» .

Выберите диапазон ввода и убедитесь, что в Excel указано, находятся ли ваши группы в столбцах или строках. Я также выбрал здесь «Метки в первом ряду», чтобы названия групп отображались в результатах.

После нажатия OK мы получаем следующие результаты:

Обратите внимание, что значение P меньше 0,05, поэтому мы получаем значительный результат. Это означает, что есть существенная разница между по крайней мере двумя группами в тесте. Но поскольку Excel не предоставляет тесты для определения того, какие группы отличаются, лучшее, что вы можете сделать, это посмотреть на средние значения, отображаемые в сводке. В нашем примере Intervention 3 выглядит так, как будто она отличается.

Это не является статистически обоснованным. Но если вы просто хотите увидеть, есть ли разница, и посмотреть, какая группа, вероятно, вызывает это, это сработает.

Двухфакторный ANOVA сложнее. Если вы хотите узнать больше о том, когда использовать двухфакторный метод, посмотрите это видео с Sophia.org, а также примеры « без репликации » и « с репликацией » из Real Statistics.

Корреляция в Excel

Вычисление корреляции в Excel намного проще, чем t- тест или ANOVA. Используйте кнопку « Анализ данных» , чтобы открыть окно «Инструменты анализа» и выбрать « Корреляция» .

Выберите диапазон ввода, определите группы в виде столбцов или строк и скажите Excel, есть ли у вас метки. После этого нажмите ОК .

Вы не получите никаких показателей значимости, но вы можете увидеть, как каждая группа соотносится с другими. Значение, равное единице, является абсолютной корреляцией, указывающей, что значения в точности совпадают. Чем ближе к единице значение корреляции, тем сильнее корреляция.

Регрессия в Excel

Регрессия является одним из наиболее часто используемых статистических тестов в промышленности, и Excel предоставляет удивительные возможности для этого расчета. Мы запустим быструю множественную регрессию в Excel здесь. Если вы не знакомы с регрессией, ознакомьтесь с руководством HBR по использованию регрессии для бизнеса .

Допустим, нашей зависимой переменной является артериальное давление, а двумя независимыми переменными являются вес и потребление соли. Мы хотим посмотреть, что является лучшим показателем артериального давления (или если они оба хороши).

Нажмите « Анализ данных» и выберите « Регрессия» . На этот раз вы должны быть осторожны при заполнении полей ввода. Поле Input Y Range должно содержать вашу единственную зависимую переменную. Поле Input X Range может включать несколько независимых переменных. Для простой регрессии не беспокойтесь об остальном (хотя не забудьте сообщить Excel, если вы выбрали метки).

Вот как выглядит наш расчет:

После нажатия OK вы получите большой список результатов. Я выделил P-значение здесь для веса и потребления соли:

Как вы можете видеть, значение P для веса больше 0,05, поэтому здесь нет существенной зависимости. Однако значение P для соли ниже 0,05, что указывает на то, что он является хорошим предиктором артериального давления.

Если вы планируете представлять данные регрессии, помните, что вы можете добавить линию регрессии к диаграмме рассеяния в Excel. Это отличное наглядное пособие. для этого анализа.

Статистика Excel: удивительно способна

Хотя Excel не известен своей статистической мощью, он на самом деле обладает некоторыми действительно полезными функциями, такими как инструмент PowerQuery , который удобен для таких задач, как объединение наборов данных . (Узнайте, как создать свой первый сценарий Microsoft Power Query Script .) Существует также дополнение статистики для Data Analysis Toolpak, которое действительно раскрывает некоторые из лучших функций Excel. Я надеюсь, что вы узнали, как использовать Toolpak, и что теперь вы можете поиграть самостоятельно, чтобы выяснить, как использовать больше его функций.

Теперь вы можете поднять свои навыки работы с Excel на новый уровень с нашими статьями об использовании функции поиска целей в Excel для дополнительного анализа данных и поиска значений с помощью vlookup . В какой-то момент вы также можете узнать, как импортировать данные Excel в Python импортировать данные Excel в импортировать данные Excel в

history 4 июля 2021 г.

Группы статей

В

первом разделе статьи

модели для прогнозирования временных рядов сравниваются с моделями, построение которых основано на причинно-следственных закономерностях.

Во

втором разделе

приведен краткий обзор трендов временных рядов (линейный и сезонный тренд, стационарный процесс). Для каждого тренда предложена модель для прогнозирования.

Затем даны ссылки на сайты по теории прогнозирования временных рядов и содержащие базы статистических данных.

Disclaimer:

Напоминаем, что задача сайта excel2.ru (раздел

Временные ряды

) продемонстрировать использование MS EXCEL для решения задач, связанных с прогнозированием временных рядов. Поэтому, статистические термины и определения приводятся лишь для логики изложения и демонстрации идей. Сайт не претендует на математическую строгость изложения статистики. Однако в наших статьях:

•    ПОЛНОСТЬЮ описан встроенный в EXCEL инструментарий по анализу временных рядов (в составе

надстройки Пакет анализа

, различных

типов Диаграмм

(

гистограмма

,

линия тренда

) и формул);

•    созданы файлы примера для построения соответствующих графиков, прогнозов и их интервалов предсказания, вычисления ошибок, генерации рядов (с

трендами

и

сезонностью

) и пр.

Модели временных рядов и модели предметной области

Напомним, что временным рядом (англ. Time Series) называют совокупность наблюдений изучаемой величины, упорядоченную по времени. Наблюдения производятся через одинаковые периоды времени. Другой информацией, кроме наблюдений, исследователь не обладает.

Основной целью исследования временного ряда является его прогнозирование – предсказание будущих значений изучаемой величины. Прогнозирование основывается только на анализе значений ряда в предыдущие периоды, точнее — на идентификации трендов ряда. Затем, после определения трендов, производится моделирование этих трендов и, наконец, с помощью этих моделей — экстраполяция на будущие периоды.

Таким образом, прогнозирование основывается на фактических данных (значениях временного ряда) и модели (

скользящее среднее

,

экспоненциальное сглаживание

,

двойное и тройное экспоненциальное сглаживание

и др.).

Примечание

: Прогнозирование методом Скользящее среднее в MS EXCEL подробно рассмотрено в

одноименной статье

.

В отличие от методов временных рядов,

где зависимости ищутся внутри самого процесса

, в «моделях предметной области» (англ. «Causal Models») кроме самих данных используют еще и законы предметной области.

Примером построения «моделей предметной области» (

моделей строящихся на основе причинно-следственных закономерностей, априорно известных независимо от имеющихся данных

) может быть промышленный процесс изготовления защитной ткани. Пусть в таком процессе известно, что прочность материала ткани зависит от температуры в реакторе, в котором производится процесс полимеризации (температура — контролируемый фактор). Однако, прочность материала является все же случайной величиной, т.к. зависит помимо температуры также и от множества других факторов (качества исходного сырья, температуры окружающей среды, номера смены, умений аппаратчика реактора и пр.). Эти другие факторы в процессе производства стараются держать постоянными (сырье проходит входной контроль и его поставщик не меняется; в помещении, где стоит реактор, поддерживается постоянная температура в течение всего года; аппаратчики проходят обучение и регулярно проводится переаттестация). Задачей статистических методов в этом случае – предсказать значение случайной величины (прочности) при заданном значении изменяемого фактора (температуры).

Обычно для описания таких процессов (зависимость случайной величины от управляемого фактора) являются предметом изучения в разделе статистики «

Регрессионный анализ

», т.к. есть основания сделать гипотезу о существовании причинно-следственной связи между управляемым фактором и прогнозируемой величиной.

Модели, строящиеся на основе причинно-следственных закономерностей, упомянуты в этой статье для того чтобы акцентировать, что их изучение предшествует теме «временные ряды». Так, часть методов, например «Регрессионный анализ» (используется

метод наименьших квадратов — МНК

), используется при анализе временных рядов, но изучаются в моделях предметной области, поэтому неподготовленным «пытливым умам» не стоит игнорировать раздел статистики «

Статистический вывод

», в котором проверяются гипотезы о

равенстве среднего значения

и строятся

доверительные интервалы для оценки среднего

, и упомянутый выше «Регрессионный анализ».

Кратко о типах процессов и моделях для их прогнозирования

Выбор подходящей модели прогнозирования делается с учетом типа моделируемого процесса (наличие трендов). Рассмотрим основные типы процессов.

1. Стационарный процесс

Стационарный процесс – это случайный процесс чьи характеристики не зависят от времени их наблюдения. Этими характеристиками являются

среднее значение

,

дисперсия

и автоковариация. В стационарном процессе не могут быть выделены предсказуемые паттерны. Соответственно ряды демонстрирующие тренд и сезонность — не стационарны. А вот ряд с цикличностью (апериодической) является стационарным, т.к. на долгосрочном временном интервале появление циклов предсказать невозможно.

Почему стационарный процесс важен? Так как стационарность подразумевает нахождение процесса в состоянии статистической стабильности, то такие временные ряды имеют постоянное среднее значение и дисперсию, которые определяются стандартным образом.

Также для стационарного процесса определяется

функция автокорреляции

– совокупность коэффициентов корреляции значений временного ряда с собственными значениями, сдвинутыми по времени на один или несколько периодов. Сдвиг на несколько временных периодов часто называется лагом (обозначается k).

Функция автокорреляции является важным источником информации о временном ряде.

Примером стационарного процесса является колебания биржевого индекса, состоящего из стоимости акций нескольких компаний, около определённого значения (в период стабильности рынка).

Примечание

: график стоимости акций построен на реальных данных, см.

файл примера Google

.

Специальным видом стационарного процесса является белый шум. У этого процесса: среднее значений ряда равно 0, имеется конечная дисперсия и отсутствует корреляция между значениями исходного ряда и рядом сдвинутым на произвольное количество периодов (лагов). В MS EXCEL белый шум можно сгенерировать функцией СЛЧИС().

2. Линейный тренд

Некоторые процессы генерируют тренд (монотонное изменение значений ряда). Например, линейный тренд y=a*x+b, точнее y=a*t+b, где t – это время. Примером такого (не стационарного) процесса может быть монотонный рост стоимости недвижимости в некотором районе.

Для вычисления прогнозного значения можно воспользоваться методами

Регрессионного анализа

и подобрать параметры тренда: наклон и смещение по вертикали.

Примечание

: Про генерацию случайных значений, демонстрирующих линейный тренд, можно посмотреть в статье

Генерация данных для простой линейной регрессии в EXCEL

.

3. Процессы, демонстрирующие сезонность

В сезонном процессе присутствует точно или примерно фиксированный интервал изменений, например, продажи некоторых товаров имеют четко выраженный пик в ноябре-декабре каждого года в связи с праздником.

Для прогнозирования вычисляется индекс сезонности, затем ряд очищается от сезонной компоненты. Если ряд также демонстрирует тренд, то после очистки от сезонности используются методы регрессионного анализа для вычисления тренда.

Примечание

: Про генерацию случайных значений, демонстрирующих сезонность, можно посмотреть в статье Генерация сезонных трендов в EXCEL.

Часто на практике встречаются ряды, являющиеся комбинацией вышеуказанных типов тенденций.

О моделях прогнозирования

В качестве простейшей модели для прогноза можно взять последнее значение индекса. Этой модели соответствует следующий ход мысли исследователя: «Если значение индекса вчера было 306, то и завтра будет 306».

Этой модели соответствует формула Y

_{прогноз(t)}

= Y

_t-1

(прогноз в момент времени t равен значению временного ряда в момент t-1).

Другой моделью является среднее за последние несколько периодов (

скользящее среднее

). Этой модели соответствует другой ход мысли исследователя: «Если среднее значение индекса за последние n периодов было 540, то и завтра будет 540». Этой модели соответствует формула Y

_{прогноз(t)}

=(Y

_t-1

+ Y

_t-2

+…+Y

_t-n

)/n

Обратите внимание, что значения временного ряда берутся с одинаковым весом 1/n, то есть более ранние значения (в момент t-n) влияют на прогноз также как и недавние (в момент t-1). Конечно, в случае, если речь идет о стационарном процессе (без тренда), такая модель может быть приемлема. Чем больше количество периодов усреднения (n), тем меньше влияние каждого индивидуального наблюдения.

Третьей моделью для стационарного процесса может быть

экспоненциальное сглаживание

. В этом случае веса более ранних периодов будут меньше чем веса поздних. При этом учитываются все предыдущие наблюдения. Вес каждого последующего наблюдения больше на 1-α (Фактор затухания), где α (альфа) – это константа сглаживания (от 0 до 1).

Этой модели соответствует формула Y

_{прогноз(t)}

=α*Y

_t-1

+ α*(1-α)*Y

_t-2

+ α*(1-α)2*Y

_t-3

+…)

Формулу можно переписать через предыдущий прогноз Y

_{прогноз(t)}

=α*Y

_t-1

+(1- α)* Y

_{прогноз(t-1)}

= α*(Y

_t-1

— Y

_{прогноз(t-1)}

)+Y

_{прогноз(t-1)}

= α*(ошибка прошлого прогноза)+ прошлый прогноз

При экспоненциальном сглаживании прогнозное значение равно сумме последнего наблюдения с весом альфа и предыдущего прогноза с весом (1-альфа). Этой модели соответствует следующий ход мысли исследователя: «Вчера рано утром я предсказывал, что индекс будет равен 500, но вчера в конце дня значение индекса составило 480 (ошибка составила 20). Поэтому за основу сегодняшнего прогноза я беру вчерашний прогноз и корректирую его на величину ошибки, умноженную на альфа. Параметр альфа (константа) я найду методом экспоненциального сглаживания».

Подробнее о методе прогнозирования на основе экспоненциального сглаживания можно

найти в этой статье

.

Полезный сигнал и шум

Из-за случайного разброса, присущему временному ряду, временной ряд представляют как комбинацию двух различных компонентов: полезного сигнала и шума (ошибки). Полезный сигнал следует одному из 3-х вышеуказанных типов процессов. Сигнал может быть смоделирован и соответственно спрогнозирован. Шум представляет собой случайные ошибки (со средним значением =0, отсутствием корреляции и с фиксированной

дисперсией

).

Основной задачей моделирования идентификация полезного сигнала, имеющего определенный тренд, от непредсказуемого шума. Для этого как раз и используются Модели сглаживания.

Ссылки на источники статистических данных и обучающие материалы

Все источники англоязычные.

Сайт о применении EXCEL в статистике

Welcome

Национальный Институт Стандартов и технологии

https://www.itl.nist.gov/div898/handbook/pmc/section4/pmc4.htm

Using R for Time Series Analysis

https://a-little-book-of-r-for-time-series.readthedocs.io/en/latest/src/timeseries.html#time-series-analysis

Учебник по прогнозированию временных рядов

https://otexts.com/fpp2/

Данные по болезням в Великобритании

https://ms.mcmaster.ca/~bolker/measdata.html

Курсы в Eberly College of Science (есть ссылки на базы данных)

https://online.stat.psu.edu/stat501/lesson/welcome-stat-501

https://online.stat.psu.edu/stat510/