Стандартизация адреса в excel

 

avar99

Пользователь

Сообщений: 94
Регистрация: 30.09.2014

Доброго времени суток!
Прошу помощи в решение задачи по приведению списка адресов к единому формату, адреса выгружаются не мной из различных баз данных и присылаются вместе с другими данными на обработку для рассмотрения..для приведения к единому формату пользуюсь функцией «Текст по столбцам» и потом с помощью функции «Сцепить»  и «Если» пытаюсь решить эту проблему, но так как строк бывает более 1000 то времени уходит очень много.. Предполагаю, что без макроса здесь не обойтись, в чем не разбираюсь… Еще раз прошу помощи

 

TheBestOfTheBest

Пользователь

Сообщений: 2366
Регистрация: 03.04.2015

Excel 2010 +PLEX +SaveToDB +PowerQuery

А вы точно знаете в каком формате будет адрес в источнике?

Неизлечимых болезней нет, есть неизлечимые люди.

 

Слэн

Пользователь

Сообщений: 5192
Регистрация: 16.01.2013

занимался как-то подобной задачей, но 100% результата достичь не удалось
там, правда, еще с ошибками было — те результат анкетирования, и адреса писались как придется
нужен справочник адресов вашего края(субъекта) и по нему уже пытаться выявить соответствие

 

TheBestOfTheBest

Пользователь

Сообщений: 2366
Регистрация: 03.04.2015

Excel 2010 +PLEX +SaveToDB +PowerQuery

Ага, и еще справочник соответствий.

Неизлечимых болезней нет, есть неизлечимые люди.

 

Не знаю насколько пример реален пример и какое в действительности разнообразие данных, но со справочником соответствия думаю можно будет использовать такую конструкцию

=СЦЕПИТЬ(ЕСЛИОШИБКА(ПСТР(A2;ПОИСК(«223???»;A2;1);7);»» );» «;ЕСЛИОШИБКА(ПСТР(A2;ПОИСК(«Эн-*й»;A2;1);13);»» );» «;ЕСЛИОШИБКА(ПСТР(A2;ПОИСК(«Сур*»;A2;1)-2;10);»» );» «;ЕСЛИОШИБКА(ПСТР(A2;ПОИСК(«ул.*,»;A2;1);15);»» ))

Изменено: StepanWolkoff27.05.2015 16:12:42

 

avar99

Пользователь

Сообщений: 94
Регистрация: 30.09.2014

#6

28.05.2015 04:49:00

Цитата
TheBestOfTheBest написал: А вы точно знаете в каком формате будет адрес в источнике?

в том и весь вопрос, что присылают данные из разных источников, поэтому и формат такой разный, а у меня задача чтобы было приведено к одному формату…

Цитата
StepanWolkoff написал: …со справочником соответствия…

Что имеете ввиду под справочником соответствия? КЛАДР?

Изменено: avar9928.05.2015 12:01:38

 

TheBestOfTheBest

Пользователь

Сообщений: 2366
Регистрация: 03.04.2015

Excel 2010 +PLEX +SaveToDB +PowerQuery

Вопрос не в том, что формат разный или одинаковый, понятно, что разный. Вопрос в том известен ли он или каждый новый файл потребуется сначала анализировать на предмет формата, потом для него делать настройку или есть 5 форматов и они не изменяются?

Неизлечимых болезней нет, есть неизлечимые люди.

 

avar99

Пользователь

Сообщений: 94
Регистрация: 30.09.2014

Те варианты, что изложены в примере, охватили все возможные варианты, по крайней мере на текущий момент…

 

TheBestOfTheBest

Пользователь

Сообщений: 2366
Регистрация: 03.04.2015

Excel 2010 +PLEX +SaveToDB +PowerQuery

Тогда я бы сделал так.
Сделал бы 6 шаблонов типа (город, улица,дом, квартира, индекс,край) в комбинациях как в файле. К каждому шаблону свой обработчик — переставить местами поля.
Split-ом разбил каждую строку исходника на 5 колонок и попытался бы выяснить к какому шаблону принадлежит каждая строка используя справочник соответствий для каждого поля(если не удалось выявить макросом, можно ручками проставить). Если соответствия нет, то добавляем в справочник ручками.

Неизлечимых болезней нет, есть неизлечимые люди.

 

avar99

Пользователь

Сообщений: 94
Регистрация: 30.09.2014

К сожалению моих знаний в этой области недостаточно, не могли показать на одном примере как и что необходимо сделать (в макросах я не силен, с вложенными формулам то же как не очень хорошо…

 

TheBestOfTheBest

Пользователь

Сообщений: 2366
Регистрация: 03.04.2015

Excel 2010 +PLEX +SaveToDB +PowerQuery

Есть 2 пути: научиться или заказать в разделе Работа.

Неизлечимых болезней нет, есть неизлечимые люди.

 

Smiley

Пользователь

Сообщений: 530
Регистрация: 16.05.2013

avar99, доброе утро. А при занесении данных в БД нельзя назначить шаблон, чтобы при выгрузке все было одинаково?
Еще вопрос: данные из БД выгружаются одним полем или же для индекса, дома, улицы свое отдельное? В первом случае придется мучиться, во втором — писать запрос к БД.

Изменено: Smiley28.05.2015 10:06:59

 

avar99

Пользователь

Сообщений: 94
Регистрация: 30.09.2014

#13

28.05.2015 10:16:12

Цитата
Smiley написал: при занесении данных в БД нельзя назначить шаблон, чтобы при выгрузке все было одинаково?

выгружаю не я из баз данных, а в разных ведомствах тетечки, которые с программными продуктами ОЧЕНЬ поверхностно знакомы…

 

TheBestOfTheBest

Пользователь

Сообщений: 2366
Регистрация: 03.04.2015

Excel 2010 +PLEX +SaveToDB +PowerQuery

Может тогда логичнее выдвинуть требования к присылаемому формату?

Неизлечимых болезней нет, есть неизлечимые люди.

 

Smiley

Пользователь

Сообщений: 530
Регистрация: 16.05.2013

TheBestOfTheBest, +
Мне кажется, что расположить галочки для выгрузки не так уж сложно…

 

avar99

Пользователь

Сообщений: 94
Регистрация: 30.09.2014

К сожалению неоднократно пытался бороться с тем, чтобы формат данных предоставлялся одинаково, но это безрезультатно…

 

Smiley

Пользователь

Сообщений: 530
Регистрация: 16.05.2013

avar99, дело в том, что это самый очевидный вариант для решения данной задачи. Ну а если строк будет 5-10 тысяч, что будете делать? Макрос не всё сможет исправить…

 

TheBestOfTheBest

Пользователь

Сообщений: 2366
Регистрация: 03.04.2015

Excel 2010 +PLEX +SaveToDB +PowerQuery

вот файл

Неизлечимых болезней нет, есть неизлечимые люди.

 

avar99

Пользователь

Сообщений: 94
Регистрация: 30.09.2014

#19

28.05.2015 11:53:05

Цитата
Smiley написал: Ну а если строк будет 5-10 тысяч, что будете делать? Макрос не всё сможет исправить…

тогда придется с ночевкой на работе оставаться чтобы выполнить задание…
TheBestOfTheBest, спасибо за файл!

ВСЕМ СПАСИБО БОЛЬШОЕ!
Буду вникать в предложенные варианты решения моей проблемы!

 

vikttur

Пользователь

Сообщений: 47199
Регистрация: 15.09.2012

avar99, прошу использовать кнопку цитирования по прямому назначению.

 

Kuzmich

Пользователь

Сообщений: 7998
Регистрация: 21.12.2012

#21

28.05.2015 12:15:32

Цитата
неоднократно пытался бороться с тем, чтобы формат данных предоставлялся одинаково

Вообще-то для каждого адреса есть код дома (можно узнать в Жилищном агентстве)
И уже не важно как тетечки прописали адрес, важно чтобы в данных был уникальный код дома,
а по нему можно будет выбрать правильный адрес из таблицы соответствия Код — Адрес

 

avar99

Пользователь

Сообщений: 94
Регистрация: 30.09.2014

#22

28.05.2015 13:07:36

Цитата
Kuzmich написал: ..код дома…

как называется данная информационная система, где содержится подобная информация?

Изменено: avar9928.05.2015 13:08:53

 

Kuzmich

Пользователь

Сообщений: 7998
Регистрация: 21.12.2012

#23

28.05.2015 17:25:27

Цитата
где содержится подобная информация?

В центре коммунальных платежей , в Жилищном агентстве, у бухгалтеров Жилкомсервисов,
на крайний случай самому можно присвоить каждому адресу уникальный номер и разослать его
в соответствующие организации, чтобы они включили код в свои отчеты.

Перейти к содержимому

Адреса ячеек в программе «Excel» могут отображаться в двух разных форматах:

А11) Самый популярный и для большинства пользователей наиболее удобный формат адреса ячеек — это буквы латинского алфавита с цифрами, где названия столбцов обозначаются буквами, а названия строк цифрами. И, соответственно, ячейки имеют адреса по названию пересечения столбца и строки.RC

2) Второй формат — относительные ссылки, менее популярен и востребован. Этот формат имеет вид R1C1. Такой формат отображения показывает адреса ячеек используемых в формуле относительно выбранной ячейки, в которую записывается формула. Многие пользователи, увидев такой формат отображения адресов ячеек, впадают ступор и пытаются перевести вид адресов в привычный буквенно цифровой вид.

Как перевести формат адресов ячеек R1C1 (RC) в обычный вид: A1; B1; C1 и т.д.

Для изменения вида адресов следует выполнить следующую последовательность действий:R1C1 параметры Excel

  • войти во вкладку «Файл»;
  • выбрать меню «Параметры»;
  • далее выбрать вкладку «Формулы»;
  • во вкладке «Формулы» убрать «галочку» (флажок) напротив параметра «Стиль ссылок R1C1»;
  • нажать кнопку «Ok».R1C1

После выполнения указанной последовательности действий адреса ячеек приобретут привычный вид : A1; B1; C1 и т.д.

↑ Все API

✔️ Разбивает адрес по отдельным полям (регион, город, улица, дом, квартира).

✔️ Рассчитывает корректный индекс по данным Почты России.

✔️ Определяет координаты.

✔️ Показывает округ и район города, ближайшее метро, площадь и стоимость квартиры.

✔️ Достает коды КЛАДР, ФИАС (ГАР), ОКАТО, ОКТМО и ИФНС.

Только для России.

Как вызвать

Чтобы вызвать метод, зарегистрируйтесь и подтвердите почту.

Пример запроса:

Песочница

[ «мск сухонска 11/-89» ]

cURL

curl -X POST 
-H "Content-Type: application/json" 
-H "Authorization: Token ${API_KEY}" 
-H "X-Secret: ${SECRET_KEY}" 
-d '[ "мск сухонска 11/-89" ]' 
https://cleaner.dadata.ru/api/v1/clean/address

.NET

// https://github.com/hflabs/dadata-csharp

var token = "${API_KEY}";
var secret = "${SECRET_KEY}";
var api = new CleanClientAsync(token, secret);
var result = await api.Clean<Address>("мск сухонска 11/-89");

Go

// https://github.com/ekomobile/dadata
// Использует API-ключ из переменной окружения DADATA_API_KEY,
// а секретный ключ из переменной окружения DADATA_SECRET_KEY

import (
    "context"
    dadata "github.com/ekomobile/dadata/v2"
)

func main() {
    api := dadata.NewCleanApi()
    query := "мск сухонска 11/-89"
    result, err := api.Address(context.Background(), query)
}

Node.js

var url = "https://cleaner.dadata.ru/api/v1/clean/address";
var token = "${API_KEY}";
var secret = "${SECRET_KEY}";
var query = "мск сухонска 11/-89";

var options = {
    method: "POST",
    mode: "cors",
    headers: {
        "Content-Type": "application/json",
        "Authorization": "Token " + token,
        "X-Secret": secret
    },
    body: JSON.stringify([query])
}

fetch(url, options)
.then(response => response.text())
.then(result => console.log(result))
.catch(error => console.log("error", error));

PHP

// https://github.com/hflabs/dadata-php

$token = "${API_KEY}";
$secret = "${SECRET_KEY}";
$dadata = new DadataDadataClient($token, $secret);
$result = $dadata->clean("address", "мск сухонска 11/-89");

Python

# https://github.com/hflabs/dadata-py

from dadata import Dadata
token = "${API_KEY}"
secret = "${SECRET_KEY}"
dadata = Dadata(token, secret)
result = dadata.clean("address", "мск сухонска 11/-89")

Укажите при вызове:

  • Content-Type: application/json.
  • ${API_KEY} — API-ключ.
  • ${SECRET_KEY} — секретный ключ.

Тело запроса передавайте в кодировке UTF-8.

Что в ответе

Стандартизованный объект:

Пример ответа

[
{
    "source": "мск сухонска 11/-89",
    "result": "г Москва, ул Сухонская, д 11, кв 89",
    "postal_code": "127642",
    "country": "Россия",
    "country_iso_code": "RU",
    "federal_district": "Центральный",
    "region_fias_id": "0c5b2444-70a0-4932-980c-b4dc0d3f02b5",
    "region_kladr_id": "7700000000000",
    "region_iso_code": "RU-MOW",
    "region_with_type": "г Москва",
    "region_type": "г",
    "region_type_full": "город",
    "region": "Москва",
    "area_fias_id": null,
    "area_kladr_id": null,
    "area_with_type": null,
    "area_type": null,
    "area_type_full": null,
    "area": null,
    "city_fias_id": null,
    "city_kladr_id": null,
    "city_with_type": null,
    "city_type": null,
    "city_type_full": null,
    "city": null,
    "city_area": "Северо-восточный",
    "city_district_fias_id": null,
    "city_district_kladr_id": null,
    "city_district_with_type": "р-н Северное Медведково",
    "city_district_type": "р-н",
    "city_district_type_full": "район",
    "city_district": "Северное Медведково",
    "settlement_fias_id": null,
    "settlement_kladr_id": null,
    "settlement_with_type": null,
    "settlement_type": null,
    "settlement_type_full": null,
    "settlement": null,
    "street_fias_id": "95dbf7fb-0dd4-4a04-8100-4f6c847564b5",
    "street_kladr_id": "77000000000283600",
    "street_with_type": "ул Сухонская",
    "street_type": "ул",
    "street_type_full": "улица",
    "street": "Сухонская",
    "stead_fias_id": null,
    "stead_kladr_id": null,
    "stead_cadnum": null,
    "stead_type": null,
    "stead_type_full": null,
    "stead": null,
    "house_fias_id": "5ee84ac0-eb9a-4b42-b814-2f5f7c27c255",
    "house_kladr_id": "7700000000028360004",
    "house_cadnum": "77:02:0004008:1017",
    "house_type": "д",
    "house_type_full": "дом",
    "house": "11",
    "block_type": null,
    "block_type_full": null,
    "block": null,
    "entrance": null,
    "floor": null,
    "flat_fias_id": "f26b876b-6857-4951-b060-ec6559f04a9a",
    "flat_cadnum": "77:02:0004008:4143",
    "flat_type": "кв",
    "flat_type_full": "квартира",
    "flat": "89",
    "flat_area": "34.6",
    "square_meter_price": "242314",
    "flat_price": "8384065",
    "postal_box": null,
    "fias_id": "f26b876b-6857-4951-b060-ec6559f04a9a",
    "fias_code": "77000000000000028360004",
    "fias_level": "9",
    "fias_actuality_state": "0",
    "kladr_id": "7700000000028360004",
    "capital_marker": "0",
    "okato": "45280583000",
    "oktmo": "45362000",
    "tax_office": "7715",
    "tax_office_legal": "7715",
    "timezone": "UTC+3",
    "geo_lat": "55.8782557",
    "geo_lon": "37.65372",
    "beltway_hit": "IN_MKAD",
    "beltway_distance": null,
    "qc_geo": 0,
    "qc_complete": 0,
    "qc_house": 2,
    "qc": 0,
    "unparsed_parts": null,
    "metro": [
        {
            "name": "Бабушкинская",
            "line": "Калужско-Рижская",
            "distance": 1.1
        },
        {
            "name": "Медведково",
            "line": "Калужско-Рижская",
            "distance": 1.2
        },
        {
            "name": "Свиблово",
            "line": "Калужско-Рижская",
            "distance": 2.5
        }
    ]
}
]
Название Длина Описание
source 250

Исходный адрес одной строкой

result 500

Стандартизованный адрес одной строкой

postal_code 6

Индекс

country 120

Страна

country_iso_code 2

ISO-код страны

federal_district 20

Федеральный округ

region_fias_id 36

ФИАС-код региона

region_kladr_id 19

КЛАДР-код региона

region_iso_code 6

ISO-код региона

region_with_type 131

Регион с типом

region_type 10

Тип региона (сокращенный)

region_type_full 50

Тип региона

region 120

Регион

area_fias_id 36

ФИАС-код района

area_kladr_id 19

КЛАДР-код района

area_with_type 131

Район в регионе с типом

area_type 10

Тип района в регионе (сокращенный)

area_type_full 50

Тип района в регионе

area 120

Район в регионе

city_fias_id 36

ФИАС-код города

city_kladr_id 19

КЛАДР-код города

city_with_type 131

Город с типом

city_type 10

Тип города (сокращенный)

city_type_full 50

Тип города

city 120

Город

city_area 120

Административный округ (только для Москвы)

city_district_fias_id 36

ФИАС-код района города (заполняется, только если район есть в ФИАС)

city_district_kladr_id 19

КЛАДР-код района города (не заполняется)

city_district_with_type 131

Район города с типом

city_district_type 10

Тип района города (сокращенный)

city_district_type_full 50

Тип района города

city_district 120

Район города

settlement_fias_id 36

ФИАС-код населенного пункта

settlement_kladr_id 19

КЛАДР-код населенного пункта

settlement_with_type 131

Населенный пункт с типом

settlement_type 10

Тип населенного пункта (сокращенный)

settlement_type_full 50

Тип населенного пункта

settlement 120

Населенный пункт

street_fias_id 36

ФИАС-код улицы

street_kladr_id 19

КЛАДР-код улицы

street_with_type 131

Улица с типом

street_type 10

Тип улицы (сокращенный)

street_type_full 50

Тип улицы

street 120

Улица

stead_fias_id 36

ФИАС-код земельного участка

stead_kladr_id 19

КЛАДР-код земельного участка

stead_cadnum 50

Кадастровый номер земельного участка

stead_type 10

= «уч»

stead_type_full 50

= «участок»

stead 50

Номер земельного участка

house_fias_id 36

ФИАС-код дома

house_kladr_id 19

КЛАДР-код дома

house_cadnum 50

Кадастровый номер дома

house_type 10

Тип дома (сокращенный)

house_type_full 50

Тип дома

house 50

Дом

block_type 10

Тип корпуса/строения (сокращенный)

block_type_full 50

Тип корпуса/строения

block 50

Корпус/строение

entrance 10

Подъезд

floor 10

Этаж

flat_fias_id 36

ФИАС-код квартиры

flat_cadnum 50

Кадастровый номер квартиры

flat_type 10

Тип квартиры (сокращенный)

flat_type_full 50

Тип квартиры

flat 50

Квартира

flat_area 50

Площадь квартиры

square_meter_price 50

Рыночная стоимость м²

flat_price 50

Рыночная стоимость квартиры

postal_box 50

Абонентский ящик

fias_id 36

ФИАС-код адреса (идентификатор ФИАС)

  ROOM.ROOMGUID — если квартира найдена в ФИАС
  HOUSE.HOUSEGUID — если дом найден в ФИАС
  ADDROBJ.AOGUID — в противном случае
fias_code

Не заполняется, используйте fias_id

fias_level 2

Уровень детализации, до которого адрес найден в ФИАС

  0 — страна
  1 — регион
  3 — район
  4 — город
  5 — район города
  6 — населенный пункт
  7 — улица
  8 — дом
  9 — квартира
  65 — планировочная структура
  90 — доп. территория
  91 — улица в доп. территории
  -1 — иностранный или пустой
fias_actuality_state

Признак актуальности адреса в ФИАС

  0 — актуальный
  1-50 — переименован
  51 — переподчинен
  99 — удален
kladr_id 19

КЛАДР-код адреса

capital_marker 1

Признак центра района или региона

  1 — центр района
      (Московская обл, Одинцовский р-н, г Одинцово)
  2 — центр региона
      (Новосибирская обл, г Новосибирск)
  3 — центр района и региона
      (Томская обл, г Томск)
  4 — центральный район региона
      (Тюменская обл, Тюменский р-н)
  0 — ничего из перечисленного
      (Московская обл, г Балашиха)
okato 11

Код ОКАТО

oktmo 11

Код ОКТМО

tax_office 4

Код ИФНС для физических лиц

tax_office_legal 4

Код ИФНС для организаций

timezone 50

Часовой пояс города для России, часовой пояс страны — для иностранных адресов. Если у страны несколько поясов, вернёт минимальный и максимальный через слеш: UTC+5/UTC+6

geo_lat 12

Координаты: широта

geo_lon 12

Координаты: долгота

beltway_hit 8

Внутри кольцевой?

  IN_MKAD — внутри МКАД (Москва)
  OUT_MKAD — за МКАД (Москва и область)
  IN_KAD — внутри КАД (Санкт-Петербург)
  OUT_KAD — за КАД (Санкт-Петербург и область)
  пусто — в остальных случаях
beltway_distance 3

Расстояние от кольцевой в км.
Заполнено, только если beltway_hit = OUT_MKAD или OUT_KAD, иначе пустое

qc_geo 5

Код точности координат

qc_complete 5

Код пригодности к рассылке

qc_house 5

Признак наличия дома в ФИАС

qc 5

Код проверки адреса

unparsed_parts 250

Нераспознанная часть адреса.
Для адреса «Москва, Митинская улица, 40, вход с торца»
вернет «ВХОД, С, ТОРЦА»

metro

Список ближайших станций метро (до трёх штук)

Координаты есть у 97% домов в Москве, 91% в Санкт-Петербурге, 69% в других городах-миллиониках и 47% по остальной России.

Площадь и стоимость есть у 70% квартир в России.

Коды качества

Код проверки qc

Нужно ли вручную проверить распознанный адрес:

Код qc Описание Нужно проверить вручную?
0 Адрес распознан уверенно Нет
2 Адрес пустой или заведомо «мусорный» Нет
1

Остались «лишние» части. Пример: «109341 Тверская область Москва Верхние Поля» — здесь лишняя «Тверская область».

Либо в исходном адресе недостаточно данных для уверенного разбора. Пример: «Сходня Красная 12» — здесь нет региона и города.

Да
3 Есть альтернативные варианты. Пример: «Москва Тверская-Ямская» — в Москве четыре Тверских-Ямских улицы. Да

Код пригодности к рассылке qc_complete

Годится ли адрес для доставки корреспонденции:

Код qc_complete Подходит для рассылки? Описание
0 Да Пригоден для почтовой рассылки
10 Под вопросом Дома нет в ФИАС
5 Под вопросом Нет квартиры. Подходит для юридических лиц или частных владений
8 Под вопросом До почтового отделения — абонентский ящик или адрес до востребования.
Подходит для писем, но не для курьерской доставки.
9 Под вопросом Сначала проверьте, правильно ли Дадата разобрала исходный адрес
1 Нет Нет региона
2 Нет Нет города
3 Нет Нет улицы
4 Нет Нет дома
6 Нет Адрес неполный
7 Нет Иностранный адрес

Признак наличия дома в ФИАС qc_house и код точности координат qc_geo

Уточняют вероятность успешной доставки письма:

Код qc_house Код qc_geo Вероятность доставки Описание
2 любой Высокая Дом найден в ФИАС
10 0 Высокая Дом не найден в ФИАС, но есть на картах
10 1 Средняя Дом не найден в ФИАС, но есть похожий на картах
10 ≥ 2 Низкая Дом не найден в ФИАС и на картах

Код точности координат qc_geo

Точность координат адреса для курьерской доставки:

Код qc_geo Описание
0 Точные координаты
1 Ближайший дом
2 Улица
3 Населенный пункт
4 Город
5 Координаты не определены

Коды ответа на запрос

HTTP-код ответа Описание
200 Запрос успешно обработан
400 Некорректный запрос
401 В запросе отсутствует API-ключ или секретный ключ
Или в запросе указан несуществующий ключ
403 Не подтверждена почта
Или недостаточно средств для обработки запроса, пополните баланс
405 Запрос сделан с методом, отличным от POST
429 Слишком много запросов в секунду или новых соединений в минуту
5xx Произошла внутренняя ошибка сервиса

Примеры и интеграции

  • C# / .NET

  • Excel VBA

  • Go

  • Java (Spring)

  • Laravel

  • Node.js

  • PHP

  • PHP (одним файлом)

  • Python

  • R

  • Symfony

  • 1С: адреса

  • 1С 7.7: адреса

  • ApiShip + 1C

  • Битрикс

  • Битрикс24: роботы

  • LeadVertex

  • Woocommerce

Ограничения

Максимальная частота запросов — 20 в секунду с одного IP-адреса.

Максимальная частота создания новых соединений — 60 в минуту с одного IP-адреса.

Дадата не поддерживает вызов этого метода из браузерного JavaScript. Иначе злоумышленник мог бы похитить секретный ключ и использовать API за ваш счет.

Стоимость

15 копеек за запись

Содержание

  • Обзор функции STANDARDIZE
  • Функция СТАНДАРТИЗАЦИЯ Синтаксис и входные данные:
  • Что такое функция STANDARDIZE?
  • Что такое z-оценка?
  • Как использовать функцию СТАНДАРТИЗАЦИЯ
  • Функция СТАНДАРТИЗАЦИЯ в Google Таблицах

В этом руководстве показано, как использовать Функция СТАНДАРТИЗАЦИЯ в Excel в Excel, чтобы вернуть нормализованное значение (z-оценку) на основе среднего и стандартного отклонения.

Обзор функции STANDARDIZE

Функция СТАНДАРТИЗАЦИЯ в Excel Рассчитывает нормализованное значение (z-показатель) на основе среднего значения и стандартного отклонения.

Чтобы использовать функцию СТАНДАРТИЗАЦИЯ листа Excel, выберите ячейку и введите:

(Обратите внимание, как появляются входные данные формулы)

Функция СТАНДАРТИЗАЦИЯ Синтаксис и входные данные:

1 = СТАНДАРТИЗАЦИЯ (x; среднее; стандартное_откл.)

Икс — значение, которое нужно нормализовать.

иметь в виду — Среднее арифметическое распределения.

standard_dev — Стандартное отклонение распределения.

Что такое функция STANDARDIZE?

Функция Excel STANDARDIZE возвращает z-оценку значения с учетом указанного среднего значения и стандартного отклонения.

Что такое z-оценка?

Как следует из названия функции, z-оценка — это стандартизированная версия значения. С помощью z-значения вы преобразуете число из его необработанного значения в число, указывающее его расстояние от среднего значения в стандартных отклонениях.

Чтобы стандартизировать оценки таким образом, вы должны знать среднее значение и стандартное отклонение численность населения из которого берется значение. Если вы используете выборочные данные (например, если вы провели опрос и хотите экстраполировать свои результаты на более широкую совокупность), функция СТАНДАРТИЗАЦИЯ не подходит для использования.

Также обратите внимание, что формула, используемая для вычисления z-показателя, предполагает, что ваши данные соответствуют нормальному распределению.

Если ваши данные соответствуют этим требованиям, вы получите z-оценку для заданного значения с помощью следующих вычислений:

1 z = (значение — среднее значение по совокупности) / стандартное отклонение по совокупности

Стандартизация оценок позволяет сравнивать значения в разных наборах данных, даже данные, измеренные в разных единицах. Стандартизированные баллы также составляют основу ряда других статистических процедур — их вычисление чаще всего выполняется в качестве промежуточного шага к проведению дальнейших тестов.

Как использовать функцию СТАНДАРТИЗАЦИЯ

Используйте STANDARDIZE следующим образом:

1 = СТАНДАРТИЗАЦИЯ (C4; $ G $ 4; $ G $ 3)

Выше у нас есть список результатов тестирования класса из 10 человек. Их результаты показаны в столбце C, а в столбце D мы рассчитали z-оценку для каждого из них.

STANDARDIZE принимает три аргумента:

  • Значение, которое вы хотите стандартизировать
  • Среднее значение численность населения из которого взяты данные
  • Стандартное отклонение численность населения из которого берутся данные (обратите внимание, что если вы определите стандартное отклонение ниже нуля, вы получите ошибку # ЧИСЛО!)

В этом примере нас интересуют только z-баллы учащихся этого класса. Мы не делаем оценок всех учащихся на основе этих данных, поэтому это данные о населении. В этом случае можно просто взять среднее значение и стандартное отклонение имеющихся данных. Я установил эти значения в таблице справа.

Я вычислил среднее значение в ячейке G3 с помощью функции среднего значения Excel <>:

И я рассчитал стандартное отклонение в G4 с помощью Excel STDEV.P Function <>:

1 = СТАНДОТКЛОН.P (C4: C13)

Затем я подключил эти ссылки на ячейки в функцию СТАНДАРТИЗАЦИЯ. Знаки доллара вокруг столбца и строки (например, $ G $ 3) просто блокируют ссылку на ячейку, чтобы она оставалась неизменной при копировании формулы в столбец.

Итак, теперь в столбце D у нас есть z-значения для каждой точки данных. Как отмечалось ранее, z-оценка — это расстояние каждой оценки от среднего, выраженное в стандартных отклонениях. Таким образом, результат теста Ронды на 1,734 стандартного отклонения ниже среднего, оценка Бранди на 1,292 стандартного отклонения выше среднего и так далее.

Функция СТАНДАРТИЗАЦИЯ в Google Таблицах работает точно так же, как и в Excel:

Вы поможете развитию сайта, поделившись страницей с друзьями

The term normalization in itself is a buzzword that is popular amongst people who come from different fields such as Machine Learning, Data Science, Statistics, etc. Normalization is a general term that means to scale down values inside a certain range. The origin of the word normalization being a buzzword comes from the fact that it is often misunderstood by people and is interchangeably used with another statistical term standardization. In this article, we are going to demystify both of these terms and later we will read how we can implement these techniques on a sample dataset in Excel.

Normalization (Or Min-Max scaling) data in excel

It is the process of scaling data in such a way that all data points lie in a range of 0 to 1. Thus, this technique, makes it possible to bring all data points to a common scale. The mathematical formula for normalization is given as:

X^{'} = frac{X - X_{min}}{X_{max}-X_{min}} , where X is the data point, Xmax and Xmin are the maximum and minimum value in the group of records respectively. The process of normalization is generally used when the distribution of data does not follow the Gaussian distribution.

Let’s have a look at one example to see how can we perform normalization on a sample dataset. Suppose, we have a record of the height of 10 students inside a class as shown below:

Height (in cm)
152
155
168
175
153
162
173
166
158
156

Step 1: Calculate the minimum value in the distribution. It can be calculated using the MIN() function. The minimum value comes out to be 152 which is stored in the B14 cell.

Calculating-minimum

Calculating the minimum value using the MIN() function

Step 2: Calculate the maximum value in the distribution. It can be calculated using the MAX() function. The maximum value comes out to be 175 which is stored in the B15 cell.

Calculating-maximum

Calculating the maximum value using the MAX() function

Step 3: Find the difference between the maximum and minimum values. Their difference comes out to be 175 – 152 = 23 which is stored in the B16 cell.

Calculating-difference

Calculating the difference (Max-Min)

Step 4: For the first data stored in the A2 cell, we will calculate the normalized value as shown in the below video.

Calculating-normalized-value

Calculating the normalized value for the first element

Step 5: We can manually calculate all values one by one for each data record or we can directly get values for all the other cells using the auto-fill feature of Excel. For this, go to the right corner of the B2 cell until a (+) symbol appears, and then drag the cursor to the bottom to auto-populate values inside all the cells.

All-normalized-values-obtained

Calculating the normalized value for the entire range

Note: While calculating the first normalized value in the B2 cell, it should be made sure that the reference address for the B14 and B16 cells should be locked using Fn + F4 button otherwise an error will be thrown.

If we have a close look at the results, we can notice all the values lies in the range 0 to 1.

Standardization (Or Z-score normalization) 

Standardization is a process in which we want to scale our data in such a way that the distribution of our data has its mean as 0 and standard deviation as 1. The mathematical formula for standardization is given as:

X^{'} = frac{X - X_{mean}}{sigma_{_{x}}}, where where X is the data point, Xmean is the mean of the distribution and σx is the standard deviation of the distribution.

The process of standardization is generally used when we know the distribution of data follows the gaussian distribution.

Method 1: Calculating z-score normalization manually 

Step 1: Calculate the mean/average of the distribution. It can be done using the AVERAGE() function. The mean value comes out to be 161.8 and is stored in the B14 cell.

Calculating-average

Calculating the mean value using the AVERAGE() function

Step 2: Calculate the standard deviation of the distribution which can be done using the STDEV() function. The standard deviation comes out to be 8.323994767 which is stored in the B15 cell.

Calculating-standard-deviation

Calculating the standard deviation using the STDEV() function

Step 3:  For the first data stored in the A2 cell, we will calculate the standardized value as shown in the image given below.

Calculating-standardized-value

Calculating the standardized value for the first element

Step 4: After manually calculating the first value, we can simply use the auto-fill feature of Excel to populate the standardized values for all other records.

All-standardized-values-obtained

Calculating the standardized value for the entire range using auto-fill

Note: While calculating the first standardized value in the B2 cell, it should be made sure that the reference address for the B14 and B15 cells should be locked using  Fn+F4 button otherwise an error will be thrown.

Method 2: Calculating Z-score normalization using the STANDARDIZE() function

We can even use the built-in STANDARDIZE() function to find the standardized value of an element. The syntax for STANDARDIZE() function is given as:

=STANDARDIZE(x,mean,std_dev)

Where x is the specific element/range of cells, mean is the average/arithmetic mean of all the elements in the record, and std_dev is the standard deviation of all the elements in the record

Step 1: Calculate the mean/average of the distribution. It can be done using the AVERAGE() function. The mean value comes out to be 161.8 and is stored in the B14 cell.

Calculating-average

Calculating the mean value using the AVERAGE() function

Step 2: Calculate the standard deviation of the distribution which can be done using the STDEV() function. The standard deviation comes out to be 8.323994767 which is stored in the B15 cell.

Calculating-standard-deviation

Calculating the standard deviation using the STDEV() function

Step 3: For the first data stored in the A2 cell, we will calculate the standardized value as shown in the below image.

Calculating-standardized-value

Calculating the standardized value for the first element using the STANDARDIZE() function

Step 4: After manually calculating the first value, we can simply use the auto-fill feature of Excel to populate the standardized values for all other records.

All-standardized-values-obtained

Calculating the standardized value for the entire range using auto-fill

Понравилась статья? Поделить с друзьями:

А вот еще интересные статьи:

  • Стандарт форматирования текста в word
  • Стандарт полей в word для документов
  • Стандарт оформления документов word курсовая
  • Стандарт оформления документов word гост
  • Стандарт оформления документа word

  • 0 0 голоса
    Рейтинг статьи
    Подписаться
    Уведомить о
    guest

    0 комментариев
    Старые
    Новые Популярные
    Межтекстовые Отзывы
    Посмотреть все комментарии