Ограничения в excel накладываемые на базу данных

Тема 1

РАБОТА С БАЗАМИ ДАННЫХ В MICROSOFT EXCEL

1. Списки

По структуре организации данных рабочие листы можно разделить на две категории: списки и формы. Список – это рабочий лист, предназначенный для хранения информации о множестве различных объектов, например список служащих, база данных заказчиков, прейскурант, список заказов, полученных в течение года (рис. 1). Т.е. список – это подборка тематически связанных данных, представленных на одном рабочем листе.

Рис. 1. Пример списка в Microsoft Excel: 1- заголовок рабочего листа; 2- пустая строка отделяет заголовок от списка; 3- строка заголовка столбцов; 4- пустая ячейка в списке.

Форма – это рабочий лист, предназначенный для работы с информацией о конкретном предмете, например заказ на товар, отчет о расходах за данный месяц, счет-фактура конкретного клиента (рис. 2).

пустой строки между заголовками столбцов и данными. Если требуется выделить заголовок, используйте такие средства, как увеличение высоты строки с заголовками, добавление границ ячеек или серой заливки. На рис. 1 заголовки столбцов списка размещены в строке 4. В заголовках используется формат автоматического переноса слов текста на новую строку.

3.Отделите заголовки столбцов от заголовка рабочего листа.

Если над заголовками столбцов нужно поместить заголовок рабочего листа или какие-либо другие заголовки, не забудьте оставить между ними одну пустую строку. Поскольку Excel допускает только одну строку заголовков, пустая строка отделить список от заголовка рабочего листа. На рис. 1 показан заголовок листа в строках 1 и 2. Строка 3 оставлена пустой, чтобы отделить список от заголовка.

4.Избегайте появления в списке пустых строк и столбцов. Хотя и допускается наличие пустых ячеек в списке, в нем не должно быть пустых строк и столбцов. Если в список вставлены пустые строки или столбцы для того, чтобы отделить одни данные от других, то для этой цели лучше увеличить высоту строки или ширину столбца, а пустые строки и столбцы следует удалить. На рабочем листе, показанном на рис. 1, имеется несколько пустых ячеек, но пустых столбцов и строк нет.

5.Результаты подсчета по столбцам следует отделить от списка. Результаты вычислений под списком нужно отделить от самого списка, оставив для этого пустую строку. Результаты вычислений, размещенные справа от списка, отделять не нужно.

6.Отделите список от других данных на рабочем листе. Для этого оставьте между ними пустые строки и столбцы. Excel использует их для распознавания «границ» списка.

2.Использование списка в качестве базы данных

Базы данных – это совокупность сведений (о реальных объектах, процессах, событиях или явлениях), относящихся к определенной теме или

задаче, организованная таким образом, чтобы обеспечить удобное представление этой совокупности, как в целом, так и любой ее части.

Чаще всего базы данных используются для хранения информации о многочисленных однородных объектах и событиях, таких, как расписание поездов, списки персонала, номенклатуры товаров и т.п.

Для работы с данными используются системы управления базами данных (СУБД). Основные функции СУБД — это определение данных (описание структуры баз данных), обработка данных и управление данными.

Система Excel является не только электронной таблицей, но и своего рода системой управления базами данных. Какие признаки СУБД имеются в работе с электронными таблицами Excel? Такими признаками являются: ввод данных с помощью форм, средства сортировки и фильтрации, система запросов к внешним базам данных и др.

Базы данных состоят из одной или нескольких таблиц или списков с информацией. Базы данных бывают двух типов – простые и реляционные. Реляционная база данных – это база, в которой информация представлена в нескольких связанных таблицах, данные из которых могут отображаться одновременно. В Excel используются простые базы данных, а в Access, FoxPro и dBASE – реляционные.

В основе баз данных Excel лежат списки. Работая с электронными таблицами, вы привыкли к тому, что таблицы состоят из строк и столбцов. В базах данных аналогами строк и столбцов являются соответсвенно записи и поля. Каждая запись (строка таблицы) включает данные об одном объекте (например, клиенте, автомобиле, документе), а поля (столбцы таблицы) содержат различные характеристики этих объектов – атрибуты (например, наименования и адреса клиентов, марки и цены автомобилей). Все записи имеют одинаковую структуру – они состоят из полей. Каждое поле записи содержит одну характеристику объекта и имеет строго определенный тип данных (например, текстовая строка, число, дата). Все записи имеют одни и те же поля, только в них содержатся разные значения атрибутов. Т.к. Excel

использует простые базы данных, состоящие из одного списка (одной таблицы) с информацией, иногда под списком и таблицей понимается одно и то же.

Таким образом, Excel:

•строка таблицы соответствует записи базы данных;

•столбец таблицы соответствует полю базы данных;

•заголовки столбцов таблицы соответствуют именам полей;

•диапазон ячеек, из которых состоит список соответствует базе

данных.

Поскольку списки размещаются на рабочем листе Excel, структура

листа накладывает естественные ограничения на будущие базы данных: число полей не может превышать 256, а число записей – 65535 минус один. Последняя цифра обусловлена тем, что полное число строк на листе равняется 216 — 1 (=65535), и первая строка обычно используется для ввода имен полей.

Перед тем, как приступить непосредственно к созданию базы данных, рекомендуется сначала воссоздать ее мысленно и сделать набросок на бумаге. Нужно хорошо представлять себе структуру базы данных (организацию хранения данных), то есть, из каких полей будет состоять список, и каков будет формат данных, которая и определяет возможности будущей обработки информации.

Структура списка определяется структурой одинаково организованных записей, его составляющих. Под структурой записи принято понимать совокупность ее полей (их имена, типы, назначение). Пусть, например, мы хотим создать список, содержащий информацию о студентах, обучающихся в нашем университете. Структура такого списка может быть достаточно простой (табл. 1).

В ячейках списка чаще всего хранятся константы соответствующих основных типов: числовые, текстовые, даты и времени. Кроме того, допустимо использование так называемых вычисляемых полей, содержащих

формулы. В нашем примере (рис. 3) это возраст. В качестве вычисляемого поля может выступать в зависимости от предметной области, например, стоимость партии товара, время до истечения срока годности продукта, стоимость услуги и т.п.

При формировании вычисляемых полей необходимо придерживаться двух основных правил:

1)ссылки на ячейки внутри списка, а это поля одной и той же записи, должны быть относительными;

2)ссылки на ячейки вне списка должны быть абсолютными.

3.Ввод и редактирование данных в базе данных

Данные можно вводить непосредственно в рабочий лист, просто добавляя к списку новые строки и пользуясь правилами и приемами ввода и редактирования данных. Но можно для ввода использовать форму данных, которая представляет собой диалоговое окно для создания и редактирования записей (рис. 4).

Ввода данных с помощью форм осуществляется следующим образом.

1.Укажите в списке ячейку, начиная с которой будут добавляться в список новые записи.

2.Выберите в меню Данные команду Форма и в открывшемся диалоговом окне (рис. 4) щелкните на кнопке Добавить.

3.В пустые поля формы введите данные новой записи (рис. 5). Для перехода к следующему полю пользуйтесь клавишей Tab или щелчком мышью, а для перехода к предыдущему полю – комбинацией Shift+Tab.

Рис. 5. Форма для добавления новой записи.

4.Отменить добавление записи можно щелчком по кнопке Вернуть. После этого вы вернетесь к предыдущей введенной записи.

5.Заполнив необходимые текстовые поля, нажмите Enter или щелкните по кнопке Добавить. После этого запись будет внесена в список, а поля будут очищены для набора следующей записи.

6.Завершив ввод записей, закройте диалоговое окно щелчком на кнопке Закрыть.

После ввода записи в список ее можно удалить обычными средствами (например, выделить запись и нажать Delete), но можно удалить и с помощью формы. Следует помнить, что, когда вы удаляете запись, используя форму, запись удаляется окончательно. Операцию удаления записи с помощью формы отменить нельзя.

Для удаления записи с помощью формы необходимо:

1.Щелкните по любой ячейке из списка.

2.Выполните команду меню Форма→ Данные.

3.Выберите нужную запись в форме, пользуясь вертикальной полосой прокрутки или кнопками Назад и Далее.

4.Нажмите кнопку Удалить;

5.В открывшемся при этом диалогом окне с предупреждением «Запись, выведенная на экран, будет удалена» нажмите кнопку ОК.

6.Закройте форму щелчком по кнопке Закрыть.

4.Сортировка данных

Сортировка – это изменение относительного положения данных в списке в соответствии со значением или с типом данных. Данные обычно сортируются по алфавиту, по численному значению или по дате.

По умолчанию в Excel принят следующий порядок сортировки:

Если содержимым ячеек являются числа, то они сортируются в порядке возрастания: от наименьшего отрицательного до наибольшего положительного числа.

Если в ячейки записан текст, то при сортировке производится сравнение содержимого ячеек по символам слева направо (регистр при сортировке не учитывается).

Строки списка (записи) могут быть отсортированы на основе данных любого из столбцов (полей). Следует различать сортировку, производимую по одному столбцу, и сортировку по нескольким столбцам.

Сортировка по одному параметру

Рассмотрим приемы сортировки по одному столбцу или параметру.

Сортировка по одному столбцу без выделения. Для проведения сортировки по одному столбцу надо выполнить следующие действия.

1.Выделите любую ячейку в столбце, по которому следует провести сортировку. Например, если список на рис. 1 нужно отсортировать

валфавитном порядке фамилий студентов, то выделить ячейку в столбце Фамилия.

2.Щелкнуть на кнопке Сортировка по убыванию или Сортировка по возрастанию стандартной панели инструментов (рис. 6).

Рис. 6. Кнопки Сортировка по убыванию и Сортировка по возрастанию стандартной панели инструментов.

Excel автоматически выделит весь список и осуществит сортировку записей. Строки будут упорядочены на основе данных того столбца, по которому происходит сортировка (для рис. 7. это столбец Фамилия), при этом строки таблицы переставляются целиком. Заголовки (подписи) столбцов в процесс сортировки по умолчанию не попадают.

Рис. 7. Результаты сортировки.

Работа со списками (базами данных) в табличном процессоре Excel 2007

1. Список – база данных

2. Строки – записи (состоят из полей)

3. Ячейки – поля (содержат характеристики объектов)

4. Имена полей записей — заголовки столбцов, которые будут использоваться при сортировке (должны содержаться в первой строке базы данных

Самый простой вид базы данных (списка) — список учеников в классном журнале, список работников на предприятии, прайс-лист в отделе продаж.

Ограничения, налагаемые на базу данных в Excel

При разработке базы данных следует учитывать:

• Первый ряд базы данных должен содержать неповторяющиеся имена полей и располагаться в одной строке

• Для имен полей следует использовать шрифт, тип данных, формат, рамку, отличные от тех, которые используются для данных в записях

• Таблицу следует отделить от других данных рабочего листа пустым столбцом и пустой строкой

• Информация по полям должна быть однородной, т.е. только цифры или только текст

Работа со списком в Excel может включать следующие действия пользователя:

1. Поиск информации по определённым критериям

2. Перегруппировка информации

3. Обработка информации

Вкладка меню Данные – Сортировка и фильтр — Сортировка или кнопки в той же группе: Сортировка от А до Я и Сортировка от Я до А

Изначально в диалоговом окне Сортировка доступен только один уровень сортировки.

По мере необходимости можно добавлять уровни, нажимая кнопку Добавить уровень или удалять уровни – Удалить уровень.

Выше всех находится первый уровень, все последующие сортируют значения, полученные в результате выполнения предыдущего уровня.

Уровни можно повышать и понижать с помощью кнопок Вверх и Вниз.

Сортировка — перегруппировка информации в списке (базе данных) в соответствии с заданными критериями.

Пример сортировки данных списка

Имеется список сотрудников предприятия, состоящий из 10 записей.

Отсортируем таблицу, содержащую фамилию и пол так, чтобы сначала выводились все женские фамилии по алфавиту, а затем — мужские

1. Выделим таблицу с данными (А1:В11)

2. Данные > Сортировка. В окне Сортировка: Поле Сортировать по: выбрать Пол, Порядок – от А до Я

Данные в таблице при сортировке по возрастанию располагаются в соответствии с определенными правилами:

1. Символы Unicode

2. Числа

3. Даты

4. Текст по первым символам, затем – по вторым и т.д.

5. Логическое значение ЛОЖЬ

6. Логическое значение ИСТИНА

7. Пустые ячейки располагаются после всех данных.

Данные в таблице при сортировке по убыванию сортируются в обратном порядке, кроме пустых ячеек, они всегда располагаются последними.

Фильтрация – выбор данных в ячейках электронной таблицы, которые соответствуют определенным условиям

Выполняется с помощью команды Данные > Фильтр (CTRL + Shift + L)

Если нажать кнопку меню, появятся дополнительные условия отбора:

• Сортировка По возрастанию

• Сортировка по убыванию

• Сортировка по цвету

• Снятие фильтра

• Фильтр по цвету

• Текстовые фильтры

• Выбор элементов для вывода

Фильтрация данных по определенному критерию приводит к отображению только тех данных, которые соответствуют условиям фильтрации.

Остальные – скрываются.

Фильтрация может последовательно применяться для нескольких столбцов таблицы.

В этом случае каждый новый фильтр применяется только для тех данных, которые отображаются в результате применения предыдущих фильтров.

Для фильтрации можно выбирать значения из списка или вводить с клавиатуры.

Для вводимых с клавиатуры значений можно образовывать шаблоны значений, используя символы * и ?

Символ * заменяет собой любое количество любых символов

Символ ? заменяет собой один символ

Дан список работников предприятия.

Отфильтруем записи и выведем только запись, содержащую значение Петров Петр

• Выделяем в таблице одну из ячеек, входящих в диапазон и выбираем команду: Данные – Фильтр

• В поле ФИО нажимаем кнопку фильтра и выключаем вывод всех записей (снять переключатель Выделить все).

• Выводим запись Петров Петр (включить переключатель слева от записи).

Пример фильтрации с использованием пользовательского автофильтра

Дан список работников предприятия.

Отфильтруем записи и выведем только те фамилии из списка, которые начинаются с буквы И

• В поле ФИО нажимаем кнопку фильтра.

• Выбираем команду Текстовые фильтры – Начинается с…

• В диалоговом окне Пользовательский автофильтр в поле выбора набираем И*

• Нажимаем ОК.

1. Что такое база данных в Excel?

2. Что такое записи? Из чего они состоят?

3. Что содержат поля базы данных?

4. Где должны быть расположены имена полей записей?

5. Какие ограничения накладываются на структуру базы данных в Excel?

6. Как вызвать команду сортировки в базе данных Excel?

7. Что такое фильтрация данных в Excel?

8. Как задать параметры для фильтрации данных по определенному критерию в Excel?

9. Что происходит с данными, которые не соответствуют критерию фильтрации?

10. Что означает знак * при создании пользовательского автофильтра?

11. Что означает знак ? при создании пользовательского автофильтра?

<?php

// начало и конец периода выгрузки
$startDate = '2015-10-01';
$endDate = '2015-12-31';

// токен для запросов к API Яндекс Метрики
// для получения токена создаем приложение на https://oauth.yandex.ru/
// даем приложению разрешение на чтение статистики Яндекс Метрики
// после создания берем параметр ID приложения и подставляем в конец https://oauth.yandex.ru/authorize?response_type=token&client_id=
// жмем Разрешить и получаем токен
$atoken = '';

// номер счетчика
$project = '';

// соединяемся с базой данных и проверяем все ли в порядке
$con = mysqli_connect("ec2-....compute.amazonaws.com","stats","здесь пароль", "data");

if (mysqli_connect_errno()) {
	echo "Failed to connect to MySQL: " . mysqli_connect_error();
	exit();
} else {
	echo "Connection successfull n";
}

if ($con->query("SET NAMES 'utf8'")) {
	echo "Names set n";
} else {
	printf("Error: %sn", $con->error);
	exit();
}

// файл, в который записываем результаты выгрузки (в случае ошибки записи в базу данных по нему можно увидеть какая строчка записалась последней и соответственно дала ошибку)
$fname = "data.txt";
$fp = fopen($fname, "w");
fclose($fp);

function getBatch($startDate, $endDate, $project, $offset, $limit, $atoken, $fname, $con) {
	// делаем запрос к API Яндекс Метрики
	// документация https://tech.yandex.ru/metrika/doc/api2/api_v1/attributes/visitssource_/search-docpage/
	$ch = curl_init();
	$options = array(
		CURLOPT_URL => 'https://api-metrika.yandex.ru/stat/v1/data?oauth_token='.$atoken.'&id='.$project.'&accuracy=full&date1='.$startDate.'&date2='.$endDate.'&dimensions=ym:s:<attribution>SearchPhrase&metrics=ym:s:visits&limit='.$limit.'&offset='.$offset,
		CURLOPT_RETURNTRANSFER => TRUE
	);

	curl_setopt_array($ch, $options);
	$data = curl_exec($ch);
	curl_close($ch);

	// переводим ответ запроса формата JSON в массив
	$data = json_decode($data, true);

	// смотрим какой ответ получили от Яндекс Метрики
	//var_dump($data);

	// проходим по массиву $data['data'] и записываем период выгрузки, ключевую фразу и количество визитов
	for ($i=0; $i < count($data['data']); $i++) {
		file_put_contents($fname, $startDate."t".$endDate."t".$data['data'][$i]['dimensions'][0]['name']."t".$data['data'][$i]['metrics'][0]."n", FILE_APPEND);

		if ($con->query("INSERT INTO seo (startDate, endDate, query, visits) VALUES ('".$startDate."', '".$endDate."', '".mysqli_real_escape_string($con, substr($data['data'][$i]['dimensions'][0]['name'], 0, 255))."', ".$data['data'][$i]['metrics'][0].")")) {
			//echo "Record done n";
	    } else {
	    	printf("Error: %sn", $con->error);
	    	exit();
	    }
	}

	if (count($data['data']) == 0) {
		return 'done';
	} else {
		return 'more';
	}
}

// https://tech.yandex.ru/metrika/doc/api2/api_v1/data-docpage/
// максимальное количество строк в одной таблице - 10 000
// в цикле выгружается по $limit строк, увеличивая при этом первую строчку выгрузки $offset на значение $limit
$offset = 1;
$limit = 10000;

$res = 'more';
do {
	$res = getBatch($startDate, $endDate, $project, $offset, $limit, $atoken, $fname, $con);
	$offset += $limit;
} while ($res == 'more');

mysqli_close($con);