Задача в excel базы данных с решением

Практическая работа

Тема: «Создание БД в MS Excel»

Цель: познакомиться с правилами оформления БД в MS Excel

Оборудование: АРМ.

Задание: В центральный банк г.NNN от филиалов по локально-вычислительной сети (ЛВС) поступают счета оплаты населением города коммунальных услуг. Поступающая информация фиксируется в ЭТ таблице Excel, состоящей из следующих столбцов (полей).

Сформировать в Excel таблицу поступлений счетов за коммунальные услуги от населения за 1 месяц

Учесть следующее:

• Даты поступления счетов от районов фиксируются в произвольном порядке, т.е. поздние даты могут быть впереди начальных дат месяца;
• Наименование районов   формируются в произвольном порядке;
• Категория услуг формируется последовательно (газ, свет, кв.м);
• Сумма-случайно распределенные числа в диапазоне,соответственно:

Требования:

1. Для выполнения задания потребуется 5 рабочих листов Excel.

На 1-ом листе оформляется в виде списка все сведения о поступивших счетах оплаты коммунальных услуг по районам города(рис.1).

На 2-ом листе сформировать таблицу отфильтрованную по категории оплаты за газ(рис.2)

На 3-м листе сформировать таблицу отфильтрованную по оплте за свет в первую десятидневку месяца с построением диаграммы(рис.3).

На 4-ом листе сформировать таблицу в соответствии с условием фильтрации списка по варианту самостоятельной работы.

1. Оглавление таблицы должно содержать: название города, месяца;
2. Указаны реквизиты банка (наименование банка, адрес, расчетный счет);

Порядок выполнения задания.

1. Создать новую книгу в Excel, дополнить ее необходимым количеством

рабочих листов для выполнения задания.

Рис. 1 База данных «Коммунальные платежи»

Выделить пять листов и заполнить оглавление, шапку таблицы Рис1.

Рис.2 Заполнение базы данных

3.в ячейки С10,С11,С12 ввести текст соответственно газ, свет, кв.м, выделить диапазон ячеек С10:С12, установить указатели мыши на квадратик в нмжнем правом углу (маркер заполнения) ячейки С12, пока не появится черный крестик и протянуть обрамляющую рамку вниз до ячейки С55.

4. В ячейку D10 ввести формулу =ОКРУГЛ(СЛУЧМЕЖДУ(1;10);2) и нажать клавишу; [Enter].

5.  В ячейку D11 ввести формулу =ОКРУГЛ(СЛУЧМЕЖДУ(10;25);2) и нажать клавишу; [Enter].

6. В ячейку D12 ввести формулу =ОКРУГЛ(СЛУЧМЕЖДУ(50;500);2) и нажать клавишу; [Enter].

7.Выделить  диапазон ячеек D10: D12 и установить указатель мыши на маркер заполнения, скопировать формулы до ячейки D55.

8. В ячейку E10 ввести формулу ОКРУГЛ(СЛУЧМЕЖДУ(1;12);2) и нажать клавишу [Enter].

9. заполнить формулами диапазон ячеек Е11:Е55 методом АВТОЗАПОЛНЕНИЯ.  В результате выполнения вычислений по формулам, значения результатов не будут совпадать с результатами на образце, т.к для расчетов применилась функция датчика случайных чисел.

10. В ячейку F10 ввести формулу =D10*E1/100 и нажать клавишу [Enter]. Заполнить этой формулой диапазон ячеек F11:F55.

11. В ячейку  G10 ввести формулу =D10+F10 и нажать клавишу [Enter]. заполнить этой формулой диапазон ячеек G11:G55.

12. Выделить числовые значения таблицы (диапазон D10:G55). Установить указатель мыши на выделенной области и нажать правую клавишу мыши. в появившемся контекстном меня выбрать команду Копировать. Выделить ячейку D10 и выбрать команду Правка=>Специальная вставка. В появившемся диалоговом окне Специальная вставка установить переключатель Значения, нажать кнопку ОК.

Этими действиями в скопированном блоке ячеек зафиксированы только числовые значения.

13. Выделить только первый лист.

14.переименовать лист 1, присвоить ему имя ПЛАТЕЖИ.

15. на втором листе произвести фильтрацию по полю Услуги. Для этого выделить ячейку С9 и выбрать команду данные=>фильтр=>Автофильтр. Установить  указатель мыши на появившемся квадратике с черным треугольником (список) и выбрать из появившегося списка-газ. В итоге, будет получен результат фильтра См рис2.

Рис 3

16.перейти на Лист 3 и произвести фильтрацию таблицы по полю Дата (условие…<11.05.00) и Услуги (Условие…=свет).

17. построить диаграмму для данных столбцов Дата и Всего отфильтрованной таблицы (Рис4)

Рис 4 Задание на Лист 3

18.Перейти на четвертый лист, отфильтровать  данные с помощью Расширенного фильтра и скопировать результат в другое место рабочего листа Excel. Расширенный фильтр распознает три специальные имени диапазонов: «База данных», «Критерии», «Извлечь» (рис.4.). Оформить область критериев по образцу (рис.4). критерий отбора записей формируется так:

Критерий 1-й строки –Извлечь из базы данных платежи за кв.м в 1-ю половину месяца, непревосходящие сумму (столбец всего )350

ИЛИ

Критерий 2-й строки— Извлечь  платежи по центральному району за свет.

Несколько критериев одной строки связаны логической функцией –И

Критерии на разных строках связаны логической функцией-ИЛИ

• Активизировать расширенный фильтр по схеме данные=>фильтр=>расширенные фильтр
• Заполнить поля окна расширенного фильтра по образцу:

Заполнять диапазоны базы данных критериев и извлеченных данных можно выделением. Для этого следует предварительно щелкнуть на красной стрелке поля, которая находится справа в полях ввода, а затем выделить мышью соответствующие диапазоны для  Базы данных, критериев, извлечь. В группе переключателей Обработка следует установить переключатель Скопировать результат в другое место.

20. На пятом листе выполнить самостоятельную работу .

Сформировать таблицу-результат фильтрации данных из исходной таблицы ПЛАТЕЖИ по условию варианта(1-15)и построить диаграмму типа обычная гистограмма результата для столбцов :

• Района и Всего( если фильтр по полю Всего, или по – Дата ,или по— Услуге ).
• Услуги и Всего (если фильтр по полю Всего, или по – Дата ,или по— Район).

Варианты фильтров для поля Всего :

1.   Счета для газа во 2-ю десятидневку месяца

1. Счета для света в 3-ю десятидневку месяца
2. Счета для света в 1-ю десятидневку месяца
3. Счета для кв м в  1-ю неделю  месяца
4. Счета для кв м в  3-ю неделю  месяца
5. Счета в диапазоне 50/100 тыс.руб.
6. Счета в диапазоне 15/50 тыс.руб.
7. Счета в диапазоне 250/350тыс.руб.
8. Счета в диапазоне 100/200 тыс.руб.
9. Счета в диапазоне 350/500 тыс.руб.
10. Счета Центрального района за свет
11. Счета Центрального района за газ
12. Счета Центрального района за кв.м
13. Счета Индустриального района в 1-ю половину месяца
14. Счета Торгового  района во  2-ю половину месяца.

После выполнения практической работы, сделать самостоятельную работу по вариантам (номер варианта соответствует номеру ученика в списке электронного журнала).

По практической работе сделать отчёт, написать вывод.

Практическая работа «Создание базы
данных в Excel»

Цель работы: создание базы данных в Excel, которая будет содержать сведения о продажах в продуктовом магазине.

Для этого нам надо будет создать три таблицы: Прайс (в ней будут
храниться наименования товаров, их цена), Клиенты (в ней будут храниться
данные о клиентах), Продажи (в эту таблицу будут заноситься данные о
продажах с учетом сведений из первых двух таблиц). Так же будет создан лист Форма
ввода, с помощью которой можно будет заполнять таблицу Продажи, используя
уже введенные ранее данные в таблицы Прайс и Клиенты.

Методические
рекомендации по выполнению практической работы

Шаг 1. Исходные данные в виде таблиц.

Создаем таблицу Прайс:

1)       
Создаем в Excel новый лист с
названием Прайс.

2)       
Создаем три столбца: Наименование, Категория,
Цена. Заполняем 20 строк в созданной таблице по следующему образцу:

3)       
 

4)       
Превращаем созданную таблицу в «умную таблицу». Для
этого выделяем все заполненные ячейки, нажимаем Главная – Форматировать как
таблицу. Из выпавшего списка выбираем тот стиль оформления, который нам
понравился.

5)       
Далее идем на вкладку Работа с таблицами — Конструктор.
В окошке Имя таблицы меняем наименование на Прайс.

6)       
Создаем в Excel новый лист с
названием Клиенты.

7)       
Создаем два столбца: Клиент, Город.
Заполняем 20 строк в созданной таблице по следующему образцу:

       
Аналогично предыдущем листу превращаем созданную
таблицу в «умную таблицу». Для этого выделяем все заполненные ячейки, нажимаем Главная
– Форматировать как таблицу. Из выпавшего списка выбираем тот стиль
оформления, который нам понравился.

9)       
Далее идем на вкладку Работа с таблицами — Конструктор.
В окошке Имя таблицы меняем наименование на Клиенты.

10)    Создаем в Excel новый лист с названием Продажи.

11)   
Создаем пять столбцов: Дата, Товар, Кол-во,
Стоимость, Клиент. Не заполняем!!!

12)   
Аналогично предыдущем листу превращаем созданную
таблицу в «умную таблицу». Для этого выделяем все заполненные ячейки, нажимаем Главная
– Форматировать как таблицу. Из выпавшего списка выбираем тот стиль
оформления, который нам понравился.

Шаг 2. Создаем форму для ввода данных

Можно вводить данные о продажах непосредственно в таблицу Продажи,
но это не всегда удобно и влечет за собой появление ошибок и опечаток из-за
«человеческого фактора». Поэтому лучше будет на отдельном листе
сделать специальную форму для ввода данных.

Создаем Форму ввода:

1)   Создаем в Excel новый лист с названием Форма
ввода.

2)   Оформляем лист следующим образом:

3)   В ячейке Клиент найдем нужное значение из созданной ранее «умной
таблицы». Для этого выделяем ячейку, используем команду Данные – Проверка
данных:

4)   Откроется диалоговое окно:

5)   В поле Тип данных выбираем Список.

6)  
Поставить курсор в появившееся поле Источник
данных, перейти на лист Клиенты, выделить диапазон ячеек с фамилиями,
нажать ОК. После этого, в появившемся выпадающем списке выбираем любую
фамилию.

7)  
Аналогичным образом поступаем с ячейкой Товар.
В результате произведенных действий Форма ввода должна иметь следующий вид
(дата, количество заполняются вручную):

   Для того, чтобы подставить цену товара в форму ввода, необходимо
воспользоваться функцией ВПР, для этого в ячейке Цена введем
следующую формулу:

В
скобках первым в кавычках указывается наименование позиции, которая была
выбрана в поле Товар. После точки с запятой указывается наименование
таблицы, откуда будут подставляться значения (наименование Прайс мы задали в
Шаге 1, п. 5). Далее через точку с запятой идет номер столбца в таблице Прайс,
где содержится нужный нам параметр.

После
нажатия кнопки Enter нужная цена появится автоматически.

9)   В поле Стоимость вводим формулу, для вычисления стоимости
данного товара при выбранных цене и количестве.

Шаг 3. Добавляем макрос ввода продаж

1)     
После заполнения формы нужно введенные в нее данные
добавить в конец таблицы Продажи. Сформируем при помощи простых ссылок
строку для добавления прямо под формой (обратите внимание, ячейки формируются в
той последовательности, в какой они идут в таблице Продажи, т.е. в
ячейке A20 будет ссылка =B3, в ячейке B20 ссылка на =B7 и т.д.):

2)       
Теперь создадим макрос, который копирует созданную
строку и добавляет его в таблицу Продажи. Для этого нажимаем Разработчик
— Visual Basic. Если вкладку Разработчик
не видно, то включите ее сначала в настройках Файл — Параметры — Настройка
ленты. Поставить галочку напротив меню Разработчик:

3)       
После этого откроется окно Microsoft Visual Basic for Applications:

4)  
В открывшемся окне редактора Visual Basic вставляем
новый пустой модуль через меню Insert — Module и вводим туда код нашего
макроса (обратите внимание, названия листов должны полностью совпадать с
вашими):

Sub Add_Sell()

      Worksheets("Форма ввода").Range("A20:E20").Copy

      n
= Worksheets("Продажи").Range("A100000").End(xlUp).Row

      Worksheets("Продажи").Cells(n + 1, 1).PasteSpecial Paste:=xlPasteValues

      Worksheets("Форма ввода").Range("B5,B7,B9").ClearContents

End Sub

5)  
Закрываем окно редактора Visual Basic (никаких
сохранений это действие не потребует).

6)  
Теперь можно добавить к нашей форме кнопку для
запуска созданного макроса используя выпадающий список Вставить на
вкладке Разработчик:

7)  
После того, как вы ее нарисуете, удерживая нажатой
левую кнопку мыши, Excel сам спросит вас — какой именно макрос нужно на нее
назначить — выбираем наш макрос Add_Sell. Текст на кнопке можно поменять,
щелкнув по ней правой кнопкой мыши и выбрав команду Изменить текст.

  
Теперь после заполнения формы можно просто жать на
нашу кнопку, и введенные данные будут автоматически добавляться к таблице
Продажи, а затем форма очищается для ввода новой сделки.

9)  
Сохранять созданный файл нужно следующим образом: Файл
– Сохранить как – Тип файла: Книга Excel с
поддержкой макросов.

Цель
работы:
Научиться создавать базы данных в MS
Excel.
Изучить возможности работы с базами
данных.

Задание:

1. Оформление
   базы данных.

2. Создание
   формы.

3. Сортировка
   элементов базы данных.

4. Фильтрация
   данных.

5. Суммирование
   чисел в базе данных.

Пример
выполнения задания:

Создать
базу данных сотрудников предприятия,
заголовок которой имеет вид:

Заполнить базу
данных на 15 сотрудников.

1. Оформление
   базы данных производится так же, как и
   оформление любой таблицы в MS
   Excel.
   Только следует помнить, что таблица
   для базы данных не должна иметь пустых
   строк и пустых столбцов, а также не
   допускается объединение ячеек для
   данной таблицы.

В нашем случае
заголовок имеет вид:

Теперь
в ячейку A4
запишем:

=СТРОКА(А4)-3

и
растянем эту формулу до ячейки А18.

Далее
заполняем ячейки B4:F18
данными,
получим:

1. Рассмотрим
   работу с формой базы данных, для этого
   добавим при помощи формы еще двух
   сотрудников. Выполним: ДанныеФорма…

получим
диалоговое окно вида:

Теперь если мы
хотим добавить запись в базу данных, то
нажмем кнопку «Добавить» и получим:

Заметим,
что поле ввода номера не доступно, так
как там заложена формула. Мы заполняем
только доступные нам поля и получаем:

Заметим,
что для перехода из одного поля ввода
в другое необходимо нажимать клавишу
TAB.

Теперь для того,
чтобы добавить еще одного сотрудника,
снова нажмите кнопку «Добавить» и
введите данные этого сотрудника.

Для завершения
добавлений в базу данных необходимо
нажать клавишу «Закрыть». Произойдет
выход из режима «Форма», а также добавление
сотрудников в базу данных.

Обращаем
ваше внимание на то, что сотрудники
добавляются не по алфавиту, а в конце
списка.

В результате наша
база данных приобретет вид:

1. Теперь рассмотрим
   сортировку базы данных.

Сортировать
базу данных в MS
Excel
можно по столбцу любого типа в порядке
возрастания или убывания. Допускается
задание от одного до трех критериев
сортировки.

Установите курсор
в любую ячейку базы данных.
В меню
«Данные» выберите пункт «Сортировка…»:

Получим диалоговое
окно вида:

Теперь заполним
поле «Сортировать по». Для начала
отсортируем нашу базу данных по «Фамилиям»
в порядке возрастания, получим:

Обратите
внимание, что заданная нами формула для
«№» позволяет сохранять правильную
нумерацию независимо от сортировки.

Теперь
отсортируем нашу базу данных по двум
столбцам. Сначала отсортируем по
«Должности», а потом по «Коду». Для этого
в диалоговом окне сортировки наберем:

В результате
получим:

В
результате такой сортировки на первые
позиции встали все «Координаторы»,
причем между собой они отсортированы
по «Коду». В конце у нас «Менеджеры»,
которые тоже отсортированы между собой
по «Коду».

1. Фильтрация
   базы данных предусмотрена для того,
   чтобы быстро извлекать из документа
   записи, которые соответствуют указанным
   критериям, а затем переносить эту
   информацию в другие части листа или
   применять в отчетах.

Для
извлечения информации из базы данных
по заданному критерию установите курсор
в любую ячейку базы данных и выполните:

ДанныеФильтрАвтофильтр

В результате вы
получите:

Обратите внимание,
что в строке заголовка появились кнопки
со стрелками.

Теперь
с помощью фильтра оставим всех «Менеджеров»
с «Кодом» из диапазона от 3755 до 3760. Для
этого нажмем кнопку со стрелочкой в
столбце «Должность» и выберем «Менеджер»:

Далее нажмем кнопку
со стрелочкой в столбце «Код» и выберем
«Условие», в результате получим диалоговое
окно вида:

Заполнив
это окно так, как показано на рисунке,
получим:

Обратите
внимание на то, что вы не удаляли ничего,
а просто выбрали лишь те элементы,
которые вам необходимы. Стрелочки в
столбцах, по которым задавались критерии
для фильтрации, выделены цветом, так
что если вам необходимо отменить данную
фильтрацию, достаточно у выделенных
стрелочек выбрать раздел «Все».

Если вы хотите
снять фильтр, то выберите:

ДанныеФильтрАвтофильтр

Примечание.
Для того
чтобы не только извлечь, но и переместить
данные, выполните команду: Данные
ФильтрРасширенный фильтр…
В открывшемся диалоговом окне включите
опцию «Скопировать результат в другое
место» и укажите, куда копировать
результат.

1. Вы
   можете подводить промежуточный и
   окончательный итоги, анализируя любой
   список базы данных, содержащий числовую
   информацию. Для получения промежуточных
   итогов весь список должен быть разбит
   на отдельные группы записей. Чтобы
   программа Excel
   распознала эти группы, список следует
   отсортировать.

Для
того чтобы изучить эту возможность,
добавим в нашу базу данных еще один
столбец «Зарплата» и отсортируем ее по
«Фамилиям», получим:

Установим
курсор в любую ячейку базы данных и
выполним:

ДанныеИтоги…

получим
диалоговое окно вида:

Укажем
подводить промежуточные итоги при
каждом изменении «Должности», операция
«Сумма», а итоги подводить только по
«Зарплате» и нажмем кнопку «ОК», получим:

Теперь
отменим итоги, для чего выполним
ДанныеИтоги…
и в появившемся диалоговом окне нажмем
кнопку «Убрать все». Отсортируем базу
данных по «Должности» и вновь установим
итоги по тому же принципу, что и ранее,
получим:

Для
того чтобы вывести только промежуточные
итоги, необходимо щелкнуть по кнопке
со знаком «-» (),
которая расположена в левой части окна.
В результате получим:

Оставшийся
минус в левой части окна позволяет вам
увидеть только итоговый результат.

Зачетное
задание:

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Выполнение поиска по огромным таблицам с тысячами позиций информации о товарах или объемах продаж – это непростой вызов для большинства пользователей Excel. Для эффективного решения данной задачи, пользователи вынуждены комбинировать многоэтажные формулы из поисковых функций, которым нужно еще вычислить соответствующие адреса и значения для их аргументов. Чтобы сократить путь решения и не нагружать вычислительные ресурсы Excel в первую очередь следует обратить внимание на функции Excel для работы с базами данных.

Примеры работы функции базы данных БИЗВЛЕЧЬ в Excel

Допустим мы располагаем базой данных, которая экспортированная в Excel так как показано ниже на рисунке:

Наша задача найти всю информацию (номер фактуры, номер клиента, сумма и т.д.), которая относится к одной конкретной фамилии определенного клиента. Для этой цели рекомендуем воспользоваться функцией Excel для работы с базами данных – БИЗВЛЕЧЬ. Данная функция на основе критериев поискового запроса, введенных в ее аргументы, по отдельности выберите все соответствующие строки из базы данных.

Функция БИЗВЛЕЧЬ примеры в Excel

Все функции Excel, которые предназначены для работы с базами данных обладают одним общим свойством. Все они требуют заранее сформатировать диапазон запросов к базе, который необходимо заполнить для поиска и дальнейшей работы. Поэтому в первую очередь мы должны предварительно сформатировать все критерии наших запросов к базе. Для этого:

1. Выше базы данных добавим 4 пустых строки. Для этого достаточно выделить 4 заголовка строк листа Excel и щелкнуть правой кнопкой мышки. Из контекстного меню выбрать вставить. Или после выделения строк по заголовкам нажать комбинацию горячих клавиш CTRL+SHIFT+=.



2. Далее скопируйте все заголовки столбцов базы данных и вставьте их в первую строку листа для вспомогательной таблицы критериев.

Пространство для заполнения критериев запросов выше данных базы.

Сначала попытаемся получить номер фактуры по фамилии клиента:

1. В ячейке D2 введите фамилию Антонова.
2. В ячейке A3 введите следующую формулу:

Сразу же получаем готовый результат как показано ниже на рисунке:

Формула нашла соответствующий номер фактуры для клиента с фамилией Антонова.

Разбор принципа действия функции БИЗВЛЕЧЬ для работы с базами данных в Excel:

БИЗВЛЕЧЬ – главная функция базы данных в Excel. В первом аргументе функции вводим диапазон просматриваемой базы данных вместе с заголовками. Во втором аргументе функции указываем адрес ячейки где будет возвращено значение соответствующие критериям поискового запроса. Третьим аргументом является диапазон ячеек, содержащий следующие условия: заголовок столбца БД и диапазон для поиска под этим заголовком. Вспомогательная табличка критериев поискового запроса к базе данных, должна быть так сформулирована, чтобы критерии однозначно и точно определяли данные, которые нужно найти в БД. Если же функция БИЗВЕЧЬ возвращает ошибку #ЗНАЧ! – значит в базе данных нет записей, соответствующих критериям поискового запроса. Если же возвращена ошибка #ЧИСЛО! – значит в базе данных более 1 одинаковой записи по данному критерию.

В нашем случаи функция БИЗВЕЧЬ вернула одно значение – без ошибок. Эту функцию можно так же использовать для вывода целой строки за одну операцию без копирования функции в другие ячейки с другими аргументами. Чтобы избежать необходимости указывать новый критерий для каждой ее копии составим простую формулу, в которую добавим функцию СТОЛБЕЦ. Для этого:

1. В ячейке A3 введите следующую формулу:
2. Скопируйте ее во все ячейки диапазона A3:E3.

Выбрана целая строка информации по конкретной фамилии определенного клиента.

Принцип действия формулы для вывода целой строки из базы данных:

В конструкции функции БИЗВЕЧЬ изменили мы только второй аргумент, значение которого вычисляется функцией СТОЛБЕЦ в место числа 1. Данная функция возвращает номер текущего столбца для текущей ячейки.

Бесспорное преимущество использования функции БИЗВЛЕЧЬ заключается в автоматизации. Достаточно лишь изменить критерий и в результате мы получаем уже новую строку информации из базы данных клиентов фирмы. Например, найдем данные теперь по номеру клиента 58499. Удаляем старый критерий вводим новый и сразу же получаем результат.

Данную задачу можно было бы решить и с помощью сложных формул с комбинациями функций ИНДЕКС, ПОИСКПОЗ, ВПР, ПРОСМОТР, но зачем изобретать велосипед? Функция БИЗВЛЕЧЬ прекрасно справляется с поставленной задачей и при этом весьма лаконична.



Обработка баз данных в Excel по нескольким критериям

Допустим нашу базу пополнил новый прибыльный клиент с таким же именем «Василий». Нам известно о нем только имя и фамилия «Василий Великий». На именины в день Василия нам нужно выслать только 1 подарок для более прибыльного клиента фирмы. Мы должны выбрать кому отдать предпочтение: Василию Веселому или Василию Великому. Для этого сравниваем их суммы транзакций:

1. Расширьте диапазон для просматриваемой таблицы $A$5:$E$18 в параметрах формул, так как у нас добавился новый клиент и на одну запись стало больше:
   
   Теперь функция возвращает ошибку #ЧИСЛО! так как в базе более чем 1 запись по данному критерию.
2. В поле критериев «Имя» вводим значение «Василий», а потом в поле «Фамилия» вводим значение «Великий».

Скачать пример работы функции БИЗВЛЕЧЬ с базой данных

В результате мы видим, что подарок получит более активный клиент Василий Великий.

Время на прочтение
11 мин

Количество просмотров 14K

Совсем недавно мне была поставлена задача, написать сервис, который будет заниматься всего лишь одной, но очень емкой задачей – собирать большой объем данных из базы, агрегировать и заполнять все это в Excel по определенному шаблону. В процессе поиска лучшего решения было опробовано несколько подходов, решены проблемы, связанные с памятью и производительностью. В этой статье я хочу поделиться с вами основными моментами и этапами реализации данной задачи.

1. Постановка задачи

В связи с тем, что мне нельзя разглашать подробности ТЗ, сущности, алгоритмы сбора данных и т. д. Пришлось придумать что-то аналогичное:

Итак представим, что у нас есть онлайн чат с высокой активностью, и заказчик хочет выгружать все сообщения, обогащенные данными о пользователе, за определенную дату в Excel. В день может копиться более 1 миллиона сообщений.

У нас есть 3 таблицы:

1. User. Хранит имя пользователя и его некий рейтинг (не важно откуда он берется и как считается)

2. Message. Хранит данные о сообщении – Имя пользователя, ДатуВремя, Текст сообщения.

3. Task. Задача на формирование отчета, которую создает заказчик. Хранит ID, Статус задачи (выполнено или нет), и два параметра: Дату сообщения начало, Дату сообщения конец.

Состав колонок будет следующим:

В Excel Заказчик хочет видеть 4 колонки 1) message_date. 2) name. 3) rating. 4) text. Ограничение по количеству строк 1 млн. Надо заполнить этими данными excel, а дальше заказчик уже будет работать с этими данными в екселе самостоятельно.

2. Задача понятна, начнем поиск решения

Так как в компании все стараются придерживаться единого стиля в разработке приложений, то и мне пришлось начать с самого обычного подхода, который используется во всех остальных микросервисах – это Spring + Hibernate для запуска приложения и работы с БД. В качестве БД используется Oracle, хотя использование любой другой СУБД будет плюс минус похожим.

Для старта приложения нам понадобится зависимость spring-boot-starter-data-jpa, которая объединяет в себе сразу Spring Data, Hibernate и JPA, все это нам понадобится для удобства работы с БД и нашими сущностями.

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
            <version>2.4.5</version>
        </dependency>

Для тестирования добавим spring-boot-starter-test

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

И еще нам нужен сам драйвер для подключения к БД

        <dependency>
            <groupId>com.oracle.database.jdbc</groupId>
            <artifactId>ojdbc10</artifactId>
            <version>19.10.0.0</version>
        </dependency>

Далее нам нужно добавить некоторые настройки конфигурации. У нас будет один метод, который будет ходить в таблицу TASK, искать задачу в статусе “CREATED” и, если такая задача существует, то запускать генерацию отчета с параметрами. Предполагается, что генерация отчета может быть долгой, поэтому наш метод будет запускаться по расписанию в два потока асинхронными процессами. Так же для Spring Data укажем наш репозиторий для поиска соответствующих сущностей. Класс конфигурации будет выглядеть следующим образом:

package com.report.generator.demo.config;

import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.PropertySource;
import org.springframework.data.jpa.repository.config.EnableJpaRepositories;
import org.springframework.scheduling.TaskScheduler;
import org.springframework.scheduling.annotation.EnableAsync;
import org.springframework.scheduling.annotation.EnableScheduling;
import org.springframework.scheduling.concurrent.ThreadPoolTaskScheduler;

@Configuration
@EnableScheduling
@EnableAsync
@EnableJpaRepositories(basePackages = "com.report.generator.demo.repository")
@PropertySource({"classpath:application.properties"})
@ConditionalOnProperty(
    value = "app.scheduling.enable", havingValue = "true", matchIfMissing = true
)
public class DemoConfig {
    private static final int CORE_POOL_SIZE = 2;

    @Bean(name = "taskScheduler")
    public TaskScheduler getTaskScheduler() {
        ThreadPoolTaskScheduler scheduler = new ThreadPoolTaskScheduler();
        scheduler.setPoolSize(CORE_POOL_SIZE);
        scheduler.initialize();
        return scheduler;
    }
}

Класс генерации отчетов содержит в себе @Scheduled метод, который раз в минуту ищет Task и, если находит, то запускает генерацию отчета с параметрами из этой таски.

    @Async("taskScheduler")
    @Scheduled(fixedDelay = 60000)
    public void scheduledTask() {
        log.info("scheduledTask is started");
        Task task = getTask();
        if (Objects.isNull(task)) {
            log.info("task not found");
            return;
        }
        log.info("task found");
        generate(task);
    }

Класс стартер приложения не имеет ничего примечательного, весь код можно посмотреть на GitHub.

3. Выборка данных из БД

Т.к. в компании повсеместно используется Hibernate было решено использовать его. Добавлено entity MessageData с необходимым набором полей (id, name, rating, messageDate, test). Первой попыткой выбрать необходимые данные была попытка в лоб – выгрузить все в List<Message> с помощью простого метода:

List<Message> findAllByMessageDateBetween(Instant dateFrom, Instant dateTo);

А дальше уже в цикле создавать объекты MessageData и обогащать их недостающими данными. Было очевидно, что данных подход в корне не верный и выгружать сразу миллион записей в List как минимум медленно. Но для эксперимента и замера скорости работы проверить хотелось, чтобы потом сравнить с другими вариантами. Но в результате данный набор записей выгружался около 30 минут после чего было получено OutOfMemoryError и на этом эксперимент завершился.

Даже если бы пользователь задал узкие рамки в параметрах и нам бы удалось выбрать все в один List, то дальше мы бы столкнулись со следующей проблемой – для заполнения всех необходимых колонок нужно было бы собирать id пользователей, идти снова в базу, получать их имена и рейтинги, и заполнить уже с полными данными. Сложность такого алгоритма вырастала в разы. Было понятно, что выборку надо производить по частям и переложить все возможные действия с данными на сторону бд. Чтобы не выбирать все разом и, чтобы не городить велосипедов, было решено использовать ScrollableResults. Это позволяет нам получить ссылку на курсор и итерироваться по результатам с определенным шагом. Далее пришлось переписать запрос так, чтобы он возвращал сразу все необходимые данные уже после всех джойнов, объединений, группировок и т. д.

Следующий вопрос – где хранить сам текст запроса. Это был не простая ситуация т.к. в действительности количество таблиц, которые участвовали в запросе было около десяти, количество джойнов и всяческих группировок было огромным, в результате чего текст запроса вышел на 200+ строк после ревью всевозможных коллег и утверждении самим тех лидом. Хранить такой запрос в java коде не хотелось, плюс в нем были захардкожены некоторые константы в условиях и светить ими в общем репозитории было бы неправильно. Для решения всех этих вопросов мне на помощь пришла идея использовать view. Весь текст запроса прекрасно туда вписывался, плюс на выходе мы получаем готовую сущность, с которой может работать hibernate как с обычной entity.

По началу все выглядело нормально, запрос на выборку 1 млн таких строк выполнялся за разумные 10 мин. или около того. Немного больше, чем хотелось бы, но заказчика это устраивало. Однако в процессе тестирования обнаружился серьезный минус такого подхода – когда мы выбираем 1 млн записей, запрос выполняется 10 минут, но когда мы хотим отчет по короче и указываем в параметрах границы даты поуже – у нас запрос так же выполняется 10 минут, но в результате мы можем получить хоть 1 запись, хоть миллион. Суть в том, что внутрь запроса view нельзя передавать параметры, мы можем только выполнить статический запрос и уже на результат наложить параметры. Поэтому не важно сколько будет в результате строк, в первую очередь будет выбрано все, что найдется в бд, а только потом будет применены параметры. Заказчику было все равно, его устраивало и то, что отчет с одной строкой будет формироваться практически за такое же время, что и отчет с 1 млн строк. Однако это излишне нагружало бд и было решено отказаться от этого варианта.

Оставался всего один вариант, который нам подходил – это хранимая в бд функция. В нее можно передавать параметры, она может вернуть ссылку на курсор и ее результат можно удобно маппить на нашу entity. Таким образом была описана функция, которая принимала на вход несколько параметров, и возвращала sys_refcursor, весь скрипт занял около 300 строк в реальности, а в упрощенном варианте здесь она выглядит так:

create function message_ref(
    date_from timestamp,
    date_to timestamp
) return sys_refcursor as
    ret_cursor sys_refcursor;
begin
    open ret_cursor for
        select m.id,
               u.name,
               u.rating,
               m.message_date,
               m.text
        from message m
                 left join users u on m.user_id = u.id
        where m.message_date between date_from and date_to;
    return ret_cursor;
end message_ref;

Теперь как ее использовать? Для этого отлично подходит @NamedNativeQuery. Запрос для вызова функции выглядит следующим образом: «{ ? = call message_ref(?, ?) }», callable = true дает понять, что запрос представляет собой вызов функции, cacheMode = CacheModeType.IGNORE для указания не использовать кэш, т. к. скорость работы нам не так критична, как затрачиваемая память, ну и в конце resultClass = MessageData.class для маппинга результата на нашу entity. Класс MessageData выглядит следующим образом:

package com.report.generator.demo.repository.entity;

import lombok.Data;
import org.hibernate.annotations.CacheModeType;
import org.hibernate.annotations.NamedNativeQuery;

import javax.persistence.Column;
import javax.persistence.Entity;
import javax.persistence.Id;
import java.io.Serializable;
import java.time.Instant;

import static com.report.generator.demo.repository.entity.MessageData.MESSAGE_REF_QUERY_NAME;

@Data
@Entity
@NamedNativeQuery(
    name = MESSAGE_REF_QUERY_NAME,
    query = "{ ? = call message_ref(?, ?) }",
    callable = true,
    cacheMode = CacheModeType.IGNORE,
    resultClass = MessageData.class
)
public class MessageData implements Serializable {

    public static final String MESSAGE_REF_QUERY_NAME = "MessageData.callMessageRef";

    private static final long serialVersionUID = -6780765638993961105L;

    @Id
    private long id;

    @Column
    private String name;

    @Column
    private int rating;

    @Column(name = "MESSAGE_DATE")
    private Instant messageDate;

    @Column
    private String text;
}

Для того чтобы не использовать кэш было решено выполнять запрос в StatelessSession. Однако есть важная особенность: если попытаться вызвать namedQuery то hibernate при попытке установить CacheMode выдаст UnsupportedOperationException. Чтобы этого избежать необходимо установить два хинта:

            query.setHint(JPA_SHARED_CACHE_STORE_MODE, null);
            query.setHint(JPA_SHARED_CACHE_RETRIEVE_MODE, null);

В итоге наш метод генерации имеет следующий вид:

 @Transactional
    void generate(Task task) {
        log.info("generating report is started");
        try (
            StatelessSession statelessSession = sessionFactory.openStatelessSession()
        ) {
            ReportExcelStreamWriter writer = new ReportExcelStreamWriter();
            Query<MessageData> query = statelessSession.createNamedQuery(MESSAGE_REF_QUERY_NAME, MessageData.class);
            query.setParameter(1, task.getDateFrom());
            query.setParameter(2, task.getDateTo());
            query.setHint(JPA_SHARED_CACHE_STORE_MODE, null);
            query.setHint(JPA_SHARED_CACHE_RETRIEVE_MODE, null);
            ScrollableResults results = query.scroll(ScrollMode.FORWARD_ONLY);
            int index = 0;
            while (results.next()) {
                index++;
                writer.createRow(index, (MessageData) results.get(0));
                if (index % 100000 == 0) {
                    log.info("progress {} rows", index);
                }
            }
            writer.writeWorkbook();
            task.setStatus(DONE.toString());
            log.info("task {} complete", task);
        } catch (Exception e) {
            task.setStatus(FAIL.toString());
            e.printStackTrace();
            log.error("an error occurred with message {}. While executing the task {}", e.getMessage(), task);
        } finally {
            taskRepository.save(task);
        }
    }

4. Запись данных в Excel

На данном этапе вопрос с выборкой данных из БД был решен и возник следующий вопрос – как теперь все это писать в excel так, чтобы это было быстро и не затратно по памяти. Первая попытка была самой очевидной – это использование библиотеки org.apache.poi. Тут все просто: подключаем зависимость

        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>5.0.0</version>
        </dependency>

Создаем XSSFWorkbook далее XSSFSheet, из него уже row и так далее. Ничего примечательного, примерный код ниже:

package com.report.generator.demo.service;

import com.report.generator.demo.repository.entity.MessageData;
import org.apache.poi.xssf.usermodel.XSSFCell;
import org.apache.poi.xssf.usermodel.XSSFRow;
import org.apache.poi.xssf.usermodel.XSSFSheet;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;

import java.io.FileOutputStream;
import java.io.IOException;
import java.time.Instant;

public class ReportExcelWriter {

    private final XSSFWorkbook wb;
    private final XSSFSheet sheet;

    public ReportExcelWriter() {
        this.wb = new XSSFWorkbook();
        this.sheet = wb.createSheet();
        createTitle();
    }

    public void createRow(int index, MessageData data) {
        XSSFRow row = sheet.createRow(index);
        setCellValue(row.createCell(0), data.getMessageDate());
        setCellValue(row.createCell(1), data.getName());
        setCellValue(row.createCell(2), data.getRating());
        setCellValue(row.createCell(3), data.getText());
    }

    public void writeWorkbook() throws IOException {
        FileOutputStream fileOut = new FileOutputStream(Instant.now().getEpochSecond() + ".xlsx");
        wb.write(fileOut);
        fileOut.close();
    }

    private void createTitle() {
        XSSFRow rowTitle = sheet.createRow(0);
        setCellValue(rowTitle.createCell(0), "Date");
        setCellValue(rowTitle.createCell(1), "Name");
        setCellValue(rowTitle.createCell(2), "Rating");
        setCellValue(rowTitle.createCell(3), "Text");
    }

    private void setCellValue(XSSFCell cell, String value) {
        cell.setCellValue(value);
    }

    private void setCellValue(XSSFCell cell, long value) {
        cell.setCellValue(value);
    }

    private void setCellValue(XSSFCell cell, Instant value) {
        cell.setCellValue(value.toString());
    }
}

Но такой подход оказался не очень оптимальным. Примерно 3 минуты потребовалось на выборку 1 млн строк из бд и запись их в excel. И в итоге приводил к OutOfMemoryError. Вот пример:

А когда я выполнял его на терминалке с выделенной оперативной памятью в 2Gb, то падал он с OutOfMemoryError примерно на 30% прогресса.

Грузить весь миллион строк в память в excel было так же плохой идеей, как и выгружать весь запрос в List, очевидно, здесь надо было использовать некий stream, но хоть какой-то годный пример google тогда мне не дал. Была попытка написать свое подобие I/O Stream для работы с excel, но мысль о том, что я пишу велосипед не давала мне покоя. В результате я стал изучать библиотеку org.apache.poi пристальней и оказалось, что там уже есть пакет streaming. В этом пакете уже есть весь необходимый набор классов для работы с большим объемом данных в excel. Оставалось только заменить все ключевые классы на аналогичные из пакета streaming и все:

package com.report.generator.demo.service;

import com.report.generator.demo.repository.entity.MessageData;
import org.apache.poi.xssf.streaming.SXSSFCell;
import org.apache.poi.xssf.streaming.SXSSFRow;
import org.apache.poi.xssf.streaming.SXSSFSheet;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;

import java.io.FileOutputStream;
import java.io.IOException;
import java.time.Instant;

public class ReportExcelStreamWriter {

    private final SXSSFWorkbook wb;
    private final SXSSFSheet sheet;

    public ReportExcelStreamWriter() {
        this.wb = new SXSSFWorkbook();
        this.sheet = wb.createSheet();
        createTitle();
    }

    public void createRow(int index, MessageData data) {
        SXSSFRow row = sheet.createRow(index);
        setCellValue(row.createCell(0), data.getMessageDate());
        setCellValue(row.createCell(1), data.getName());
        setCellValue(row.createCell(2), data.getRating());
        setCellValue(row.createCell(3), data.getText());
    }

    public void writeWorkbook() throws IOException {
        FileOutputStream fileOut = new FileOutputStream(Instant.now().getEpochSecond() + ".xlsx");
        wb.write(fileOut);
        fileOut.close();
    }

    private void createTitle() {
        SXSSFRow rowTitle = sheet.createRow(0);
        setCellValue(rowTitle.createCell(0), "Date");
        setCellValue(rowTitle.createCell(1), "Name");
        setCellValue(rowTitle.createCell(2), "Rating");
        setCellValue(rowTitle.createCell(3), "Text");
    }

    private void setCellValue(SXSSFCell cell, String value) {
        cell.setCellValue(value);
    }

    private void setCellValue(SXSSFCell cell, long value) {
        cell.setCellValue(value);
    }

    private void setCellValue(SXSSFCell cell, Instant value) {
        cell.setCellValue(value.toString());
    }
}

Теперь сравним скорость обработки данных с этой библиотекой:

Вся обработка заняла пол минуты и, самое главное, никаких OutOfMemoryError.

5. Итог

В результате удалось добиться максимальной производительности за счет использования хранимой функции, StatelessSession, ScrollableResults и использования библиотеки org.apache.poi из пакета streaming. При большом желании можно улучшить производительность еще, если написать все на чистом jdbc, может быть есть еще варианты, как, что и где можно улучшить. Буду рад услышать комментарии от более опытных в этом экспертов. В данном примере не учтено ограничение на 1 млн. строк, т. к. это простая формальность и для примера не очень важна. Для наполнения БД тестовыми данными был добавлен тестовый класс DemoApplicationTests. Весь код можно посмотреть в репозитории на GitHub.