Перевод
Ссылка на автора
Введение
Я был вовлечен в сферу анализа данных около 3 лет. Я работаю в этой области более 2 лет в качестве аналитика в области здравоохранения, и недавно я получила степень MBA, специализируясь на науке о данных.
Во время обучения в магистратуре меня особенно интересовали методы прогнозного моделирования с использованием Python (и я до сих пор). Тем не менее, с точки зрения организации / анализа / отчетности, мне легче всего пользоваться Excel. Тратить 60–80% дня на изучение электронной таблицы Excel — это не чуждо мне. Вкладки, ленты, группировки и инструменты, вложенные в графический интерфейс Excel, являются инструментами для моего оркестра. Они издают звуки, но я провожу и переношу мелодию и гармонию в отчеты, результаты и анализы. В ходе консалтинговых проектов, составления личных бюджетов и других проблем Excel всегда был моим любимым инструментом.
Я знал о SQL и его основных понятиях уже давно. Однако лишь сравнительно недавно я решил пристегнуться и выучить его по профессиональным причинам. С точки зрения пользователя Excel, SQL имеет свои взлеты и падения. В этой статье я надеюсь передать природу и использование SQL, сравнивая его с Excel.
Кто они такие?
Excel это программа. SQL это язык.Это очень важная часть информации, которую нужно переварить. Excel можно использовать только после нажатия на зеленый значок и запуска программы. С другой стороны, SQL можно использовать для взаимодействия и взаимодействия с программами баз данных. Несколько самых популярных:
- оракул
- MySQL
- Microsoft SQL Server
То, как я выучил SQL, это через Google Большой запрос, Это интересный способ изучения / использования SQL путем анализа бесплатных баз данных в облаке Google, доступных бесплатно.
Где данные?
превосходить
Excel — это типичный инструмент для работы с электронными таблицами. Ваши данные сохраняются в файле на вашем компьютере, и они обычно организованы в виде вкладок, столбцов и строк.Файл Excel является локальным для вашего компьютера, Вы напрямую взаимодействуете с ним. Нет посредника. Нет администратора. Конечно, есть возможность использовать API для доставки данных из другого места; Тем не менее, данные в конечном итоге ваши делать с тем, что вы хотите.Это усложняет отслеживание изменений, если несколько человек работают с книгами Excel.… Это действительно возможно отслеживать изменения, но это не очень удобно.
SQL
SQL — это язык, который взаимодействует с базами данных. Это означает язык структурированных запросов. В этом случае ваши данные находятся на шаг дальше. Вы пишите и отправляете запросы в SQL к базе данных, которая получает эти запросы, а затем дает вам то, что вы запрашиваете или вносит изменения.Данные хранятся в базе данных и организованы по таблицам. Красота запросов в том, что они более совместные и отслеживаемые. Эти запросы можно проследить, чтобы узнать, кто внес изменения в какую таблицу. Пользователи также могут сохранять и делиться полезными запросами с другими для будущих или совместных целей.
Пример запроса, который фильтрует таблицу «austin_bikeshare» в Big Query на основе «bikeid», а затем упорядочивает выборку по «duration_minutes».
SELECT
duration_minutes
FROM
`bigquery-public-data.austin_bikeshare.bikeshare_trips`
Where
bikeid = "446"
ORDER BY
duration_minutes desc
Когда вы узнаете, как работает синтаксис, манипулирование данными может быть намного быстрее с использованием SQL, чем в Excel. Другим важным аспектом является то, что синтаксис похож на английский, что делает его, пожалуй, самым простым компьютерным языком для изучения.
Для чего они лучше всего используются?
превосходить
- Меньшие наборы данных: менее 1 миллиона строк, даже к северу от 100 000, это, вероятно, замедлит работу вашего компьютера.
- Ввод данных вручную
- Более гибкая структура: любая ячейка может быть любого типа данных, независимо от того, в каком столбце она находится.
- Вывод графиков и визуализаций
- Встроенная проверка орфографии и другие полезные функции
- Работать самостоятельно над проектом
SQL
- Большие наборы данных: в зависимости от программного обеспечения и базы данных это может быть очень очень большим. Не замедляется, как в Excel.
- Организация / структура: таблицы SQL более строгие в отношении согласованных типов данных и ограничивают пользователей, если они пытаются ввести неправильный тип.
- Совместная работа
- Подготовка данных для дальнейшего анализа в другом программном обеспечении
- Согласованные отчеты или расчеты: как упоминалось ранее, вы можете сохранять и обмениваться запросами.
- Более безопасный, поскольку изменения всегда отслеживаются и проверяются.
Вывод
Когда я впервые узнал о предложениях JOIN в SQL, моей первоначальной реакцией было пометить его как незначительный, потому что я уже знал, как использовать Vlookups в Excel. После этого я некоторое время сохранял такое отношение, но, продолжая изучать уроки, реальность ситуации начала проявляться. Когда я узнал, насколько просты и полезны предложения JOIN, я вспомнил, сколько раз Vlookups выполнял на протяжении большого количества строк. Я вспомнил, как они увеличивают размер файла в геометрической прогрессии, если вы не вставляете значения после выполнения вычисления Я также вспомнил, как ограничивать его, принося только 1 значение за раз … Подобные уроки были получены, когда я сравнивал SQL с Excel на протяжении всего обучения.
В заключение, оба инструмента имеют свое место, когда дело доходит до анализа данных. Оба служат своим уникальным целям, и знание обоих полезно для всех, кто регулярно использует данные. Из моего опыта и исследование однако по этой теме SQL является более востребованным и полезным навыком в качестве аналитика данных. Excel отлично подходит для владельцев малого бизнеса, консультантов и студентов. SQL лучше для аналитиков и исследователей данных.
Некоторые полезные ресурсы, которые я использовал в своем изучении SQL:
SQL для науки о данных с Google Big Query
5 причин, по которым SQL необходим навыкам аналитиков данных
Команды SQL для часто используемых операций Excel
Пожалуйста, подпишитесь, если вы нашли это полезным. Если вам нравится мой контент, ниже приведены некоторые проекты, над которыми я работал:
Uber Отзывы Анализ текста
Простая линейная и полиномиальная регрессия
Случайный лес лучше, чем логистическая регрессия? (сравнение)
Индекс Джини против информационной энтропии
Прогнозирование рака с помощью логистической регрессии в Python
Пример двумерной логистической регрессии (python)
Расчет R-квадрата с нуля (с использованием Python)
Содержание
- Excel против SQL: концептуальное сравнение
- Введение
- Кто они такие?
- Где данные?
- превосходить
- Для чего они лучше всего используются?
- превосходить
- Вывод
- Excel vs SQL
- What is Microsoft Excel?
- What is SQL?
- What are the differences between Excel and SQL?
- What is Excel good at?
- What is Excel weak at?
- What is SQL good at?
- What is SQL weak at?
- Is SQL better than Excel?
- Can learning SQL replace Excel?
- Learn Excel and SQL with edX
- Недостатки Excel и преимущества SQL для ведения бизнеса. Почему стоит задуматься о собственной программе?
- Кому нужен SQL? Оказывается, всем. А зачем?
- На примере Excel можно объяснить работу SQL запросов
- Жизненная необходимость SQL инструментов
- Простые ответы на сложные вопросы с помощью SQL
- Как освоить SQL
- Истории выпускников Нетологии
Excel против SQL: концептуальное сравнение
Введение
Я был вовлечен в сферу анализа данных около 3 лет. Я работаю в этой области более 2 лет в качестве аналитика в области здравоохранения, и недавно я получила степень MBA, специализируясь на науке о данных.
Во время обучения в магистратуре меня особенно интересовали методы прогнозного моделирования с использованием Python (и я до сих пор). Тем не менее, с точки зрения организации / анализа / отчетности, мне легче всего пользоваться Excel. Тратить 60–80% дня на изучение электронной таблицы Excel — это не чуждо мне. Вкладки, ленты, группировки и инструменты, вложенные в графический интерфейс Excel, являются инструментами для моего оркестра. Они издают звуки, но я провожу и переношу мелодию и гармонию в отчеты, результаты и анализы. В ходе консалтинговых проектов, составления личных бюджетов и других проблем Excel всегда был моим любимым инструментом.
Я знал о SQL и его основных понятиях уже давно. Однако лишь сравнительно недавно я решил пристегнуться и выучить его по профессиональным причинам. С точки зрения пользователя Excel, SQL имеет свои взлеты и падения. В этой статье я надеюсь передать природу и использование SQL, сравнивая его с Excel.
Кто они такие?
Excel это программа. SQL это язык.Это очень важная часть информации, которую нужно переварить. Excel можно использовать только после нажатия на зеленый значок и запуска программы. С другой стороны, SQL можно использовать для взаимодействия и взаимодействия с программами баз данных. Несколько самых популярных:
То, как я выучил SQL, это через Google Большой запрос, Это интересный способ изучения / использования SQL путем анализа бесплатных баз данных в облаке Google, доступных бесплатно.
Где данные?
превосходить
Excel — это типичный инструмент для работы с электронными таблицами. Ваши данные сохраняются в файле на вашем компьютере, и они обычно организованы в виде вкладок, столбцов и строк.Файл Excel является локальным для вашего компьютера, Вы напрямую взаимодействуете с ним. Нет посредника. Нет администратора. Конечно, есть возможность использовать API для доставки данных из другого места; Тем не менее, данные в конечном итоге ваши делать с тем, что вы хотите.Это усложняет отслеживание изменений, если несколько человек работают с книгами Excel.. Это действительно возможно отслеживать изменения, но это не очень удобно.
SQL — это язык, который взаимодействует с базами данных. Это означает язык структурированных запросов. В этом случае ваши данные находятся на шаг дальше. Вы пишите и отправляете запросы в SQL к базе данных, которая получает эти запросы, а затем дает вам то, что вы запрашиваете или вносит изменения.Данные хранятся в базе данных и организованы по таблицам. Красота запросов в том, что они более совместные и отслеживаемые. Эти запросы можно проследить, чтобы узнать, кто внес изменения в какую таблицу. Пользователи также могут сохранять и делиться полезными запросами с другими для будущих или совместных целей.
Пример запроса, который фильтрует таблицу «austin_bikeshare» в Big Query на основе «bikeid», а затем упорядочивает выборку по «duration_minutes».
Когда вы узнаете, как работает синтаксис, манипулирование данными может быть намного быстрее с использованием SQL, чем в Excel. Другим важным аспектом является то, что синтаксис похож на английский, что делает его, пожалуй, самым простым компьютерным языком для изучения.
Для чего они лучше всего используются?
превосходить
- Меньшие наборы данных: менее 1 миллиона строк, даже к северу от 100 000, это, вероятно, замедлит работу вашего компьютера.
- Ввод данных вручную
- Более гибкая структура: любая ячейка может быть любого типа данных, независимо от того, в каком столбце она находится.
- Вывод графиков и визуализаций
- Встроенная проверка орфографии и другие полезные функции
- Работать самостоятельно над проектом
- Большие наборы данных: в зависимости от программного обеспечения и базы данных это может быть очень очень большим. Не замедляется, как в Excel.
- Организация / структура: таблицы SQL более строгие в отношении согласованных типов данных и ограничивают пользователей, если они пытаются ввести неправильный тип.
- Совместная работа
- Подготовка данных для дальнейшего анализа в другом программном обеспечении
- Согласованные отчеты или расчеты: как упоминалось ранее, вы можете сохранять и обмениваться запросами.
- Более безопасный, поскольку изменения всегда отслеживаются и проверяются.
Вывод
Когда я впервые узнал о предложениях JOIN в SQL, моей первоначальной реакцией было пометить его как незначительный, потому что я уже знал, как использовать Vlookups в Excel. После этого я некоторое время сохранял такое отношение, но, продолжая изучать уроки, реальность ситуации начала проявляться. Когда я узнал, насколько просты и полезны предложения JOIN, я вспомнил, сколько раз Vlookups выполнял на протяжении большого количества строк. Я вспомнил, как они увеличивают размер файла в геометрической прогрессии, если вы не вставляете значения после выполнения вычисления Я также вспомнил, как ограничивать его, принося только 1 значение за раз . Подобные уроки были получены, когда я сравнивал SQL с Excel на протяжении всего обучения.
В заключение, оба инструмента имеют свое место, когда дело доходит до анализа данных. Оба служат своим уникальным целям, и знание обоих полезно для всех, кто регулярно использует данные. Из моего опыта и исследование однако по этой теме SQL является более востребованным и полезным навыком в качестве аналитика данных. Excel отлично подходит для владельцев малого бизнеса, консультантов и студентов. SQL лучше для аналитиков и исследователей данных.
Некоторые полезные ресурсы, которые я использовал в своем изучении SQL:
Пожалуйста, подпишитесь, если вы нашли это полезным. Если вам нравится мой контент, ниже приведены некоторые проекты, над которыми я работал:
Источник
Excel vs SQL
Excel and SQL make up two of the most popular and powerful ways of working with data. You will find “Excel” and “SQL” in many job descriptions—especially for data analyst roles. What exactly are these data-related tools? Which one is better, and which one should you learn?
What is Microsoft Excel?
Microsoft Excel is a computer program that uses spreadsheets to help users store, manipulate, and analyze data. The program is widely used in business analyst roles for quick calculations, data summaries, and data visualizations.
What is SQL?
SQL stands for Structured Query Language. Data analysts use SQL to manage large databases and pull relevant data for business-use.
SQL is not a general programming language. Unlike with Python or Java , you cannot use SQL to implement sophisticated programs; SQL only lets you read, manipulate, and search through databases to convert raw data into organized, tabular information.
What are the differences between Excel and SQL?
The main differences between Excel and SQL revolve around accessibility and power:
- Excel is known for its ease-of-use. The application presents a visual notebook that makes it easy to format and visualize data.
- SQL is known for speed and volume. It lets users work with enormous amounts of raw data without sacrificing speed—Excel starts to lag with larger volumes of data.
Both Excel and SQL let data analysts work with data, but the two tools have different use-cases depending on a business’s data needs and expectations. Understanding the differences in terms of advantages and disadvantages with Excel and SQL will help you make the most of your data.
What is Excel good at?
Excel is a powerful tool that is easy to learn and great for quick data analysis . Its workbook aesthetic, color options, and easy formatting make data much more accessible to users. For instance:
- Excel simplifies data. As an example, Excel cells let you store strings of information like “January 3, 2020,” whereas relational databases using SQL would divide the date into three separate cells.
- Excel is more visual than SQL—instead of writing commands, users get to directly work with and manipulate their data in tables.
Because of its ease-of-use, Excel is commonly used across industries and widely taught in schools. If you’re a small business owner or a team of one working with relatively small data sets—no more than a couple hundred thousand lines of data—then Excel is a great tool for you to:
- Manipulate data
- Summarize data with pivot tables
- Visualize data into charts, graphs, and tables
- Compute quick statistics—numbers that summarize your data
What is Excel weak at?
Excel gets slower the more data you ask it to handle. In fact, Excel cannot store more than one million lines of data—and the tool begins to slow down well before reaching that much data. Although the tool is visually accessible, if you are working with large data sets, you do not want to use Excel.
What is SQL good at?
SQL is fast and can handle large loads of data. Unlike Excel, SQL can handle well over one million fields of data with ease. SQL queries are also more flexible and powerful than Excel formulas.
Data analysts use SQL to interact with enormous databases by:
- Manipulating data
- Pulling data
- Filtering data
- Updating data
- Combining data
SQL has better data integrity than Excel. Each cell in SQL is limited to only one piece of information—such as day of the week or month. Extrapolating data this way might be a hassle, but it significantly reduces the chance of miscalculations and data errors.
SQL is also compatible with various database management systems, including Oracle, MySQL, and PostgreSQL. Each software is different in how it handles new data and improves control for the end-user. But SQL is a way to access data across the board.
If you are planning on working with large databases and want speed, accuracy, consistency, volume, and power, SQL is the way to go.
What is SQL weak at?
SQL is less accessible than Excel. Whereas Excel has a graphical user interface and visual options for data manipulation, SQL amounts largely to writing code to interact with relational databases. While the query language is exceptionally powerful and the industry standard for working with large amounts of data, it is harder to learn than easier data analysis tools like Excel.
Is SQL better than Excel?
The answer to this question depends entirely on how much data you have and what you’re looking to do with your data. If you have small amounts of data and want to compute or visualize quick answers, Excel is more than enough.
If you have massive databases, need to combine datasets quickly, and want more data security, SQL is the way to go. SQL lets users track data updates and limit data manipulation by other users via restrictions—Excel has less robust solutions for data integrity.
Can learning SQL replace Excel?
Learning SQL is no replacement for learning Excel, and vice versa. Both tools have their own learning curve—although many claim SQL is more difficult than Excel. That said, learning one tool may make it much easier to learn the other.
Most data analysts learn both Excel and SQL. They use SQL to work in businesses and communicate with large databases and bust out Excel to solve quicker data analysis problems. To become a strong data analyst, it’s recommended you learn both.
Learn Excel and SQL with edX
If you work with data, you will need to know SQL and Excel. Although some businesses and team members may prefer one to the other, both tools are industry standards when it comes to data analysis. Excel is useful for quick visualizations and summaries of data, whereas SQL is necessary for working with large volumes of data, managing databases, and using relational databases to their full potential.
Take your data skills to the next level with edX. Learn Excel and study SQL online today!
Источник
Недостатки Excel и преимущества SQL для ведения бизнеса. Почему стоит задуматься о собственной программе?
Excel – инструмент де факто для решения очень большого круга бизнес-задач. Это учет, ведение заметок, обсуждение вопросов, вычисления, отчетность.
При некоторых его минусах – это поистине великий инструмент.
Любой деловой человек должен уметь свободно работать с Excel или его аналогом.
Мое предположение, что рано или поздно любой деловой человек должен будет уметь владеть sql как гибким средством извлечения любой информации своей учетной системы.
SQL – это язык запросов к базе данных. Рано или поздно появится инструмент, который позволит просто вести учет в базе данных, а не в таблицах Excel.
Когда-то Excel не было и люди вели записки в обычных файлах. Создание такого простого инструмента как Excel дало значительный толчок для развития бизнеса.
При этом все же для учета Excel подходит все же частично, т.к. не может создать реляционную модель данных и имеет множество других нюансов в использовании.
В данный момент мы делаем систему, которая позволит создавать программы с личными кабинетами на основе Веб. Мы прорабатываем процесс перехода и адаптации с Excel в свою систему личных кабинетов. Посмотрим что из этого выйдет.
Если вы планируете серьезно переходить на свою программу – то изучите нашу промостраницу про уход от Excel в сторону своей программы.
Мы проводим обучение и даем возможность стажировки на базе нашей платформы с управлением на SQL. Если вам это интересно, то пожалуйста посмотрите Вакансия для SQL Server программиста фриланс, удаленно.
Источник
Кому нужен SQL? Оказывается, всем. А зачем?
Бизнесмены, госкорпорации, государственные органы, все стремятся использовать как можно больше высоких технологий для достижения поставленных целей. Ну буквально всё, что возможно, хочется автоматизировать: бухгалтерский и управленческий учет, финансы и логистику, транспорт и продажи. На высокооплачиваемые должности привлекают специалистов подкованных в современных технологиях.
Предпочтение отдается тем сотрудникам, которые за короткий срок могут обработать большой объем информации. Потому что своевременная и точная информация стоит дорого. Современные технологии убегают от вас далеко вперед? Но на самом деле ещё есть время наверстать упущенное и получить для себя отличные перспективы карьерного роста. Востребованными становятся новые специальности, даже освобождается время на то, о чем раньше вы задумывались только вскользь — переобучение.
Мы уже рассказывали о профессиях, в которых можно успешно развиваться на сегодняшний день. А сегодня мы попробуем доходчиво, простыми словами рассказать об SQL — инструменте, с которым можно сделать первый шаг в в сферу аналитики. Хотя его использование, конечно, этим не ограничивается.
SQL (ЭсКуЭль) — это и язык для программистов и мощный инструмент для всех специалистов, которым требуется анализировать и обрабатывать информацию из баз данных . Продвинутые аналитики, финансисты, экономисты и даже бухгалтеры или товароведы учат SQL.
SQL — следующая ступень эволюции после общеизвестных программ Excel и Access. Но это не программа, это язык запросов, которые понимают другие приложения и базы данных в целом.
На примере Excel можно объяснить работу SQL запросов
Информация о продажах, закупках, бухгалтерских проводках хранится в связанных между собой таблицах (например, таких как база 1С или база данных вашей товароучетной программы).
Данные имеют свои идентификаторы (id). Благодаря этому вся информация структурирована не в одной громоздкой таблице, а в множестве маленьких и «легких», связанных между собой особенными отношениями таблиц. Таким образом уменьшается объем файла с информацией. Он занимает меньше места на диске, время выполнения запросов сокращается, система работает быстрее.
На языке SQL пишутся специальные запросы (так называемые SQL инструкции) к базе данных с целью получения данных или для манипулирования ими.
Задав правильный запрос к базам, вы можете создавать таблицы, извлекать данные, удалять, фильтровать и т.п.
Плюсы SQL запросов:
- используются на международном уровне;
- инструменты SQL внедрены во все пакетные решения;
- SQL имеет поддержку во всех языках программирования;
- все системы управления базами данных (Oracle Database, Interbase, Firebird, Microsoft SQL Server, PostgreSQL) понимают SQL ;
- запросы открывают доступ к базе данных для разных аналитиков;
- находят ответы на непредсказуемые запросы руководства (это значит, что не нужно будет покупать новое приложение для решения новых и нестандартных задач).
Жизненная необходимость SQL инструментов
SQL активно используется при работе специалистами разных сфер. Например, маркетологами (чтобы реклама била точно в цель) или журналистами, стремящимися подкрепить свои статьи фактами.
Но он также нужен экономисту банка или торговой сети, который хочет стать ведущим аналитиком. Т.е. первая причина для освоения — карьерный рост.
Когда страничек в книге Excel уже не хватает, фильтрация, поиск и обработка занимает все рабочее время аналитиков — значит бизнес достаточно масштабирован и готов общаться на языке программирования. Масштабирование бизнеса — еще одна из причин для привлечения экономистов со знанием SQL .
В растущей компании объем данных увеличивается в геометрической прогрессии, чтобы информацию обработать и не потерять, да еще и проанализировать требуются финансовые аналитики, умеющие говорить на SQL.
В экселе можно долго и упорно настраивать фильтры, сортировать, но на специальном языке запросов компьютер вас поймет быстрее и точнее.
Простые ответы на сложные вопросы с помощью SQL
В огромной сети магазинов, типа Ашан, товаровед решает, сколько товаров нужно заказать у поставщиков для выполнения текущих заказов. Для решения потребуется выполнить множество расчетов: нужно посчитать остатки товара с учетом нормы запаса, посчитать дефицит товара, вывести название продукта и название поставщика. Такую многошаговую задачу решают SQL-запросы.
Для экономиста базы данных выведут список чеков за выбранный день дороже или дешевле нужной суммы и покажут, на каких кассах их пробили.
Финансовый аналитик с помощью SQL получает правильные исходные данные для построения дальнейших гипотез развития бизнеса. Он сможет верно определить причинно-следственных связи в поведении исследуемых реалий.
Можно долго перечислять возможности вашей базы данных после внедрения SQL-запросов, быстрее научиться и решать непосредственно свои задачи.
Как освоить SQL
Приятная новость в том, что в изучении SQL нет ничего сложного, это быстро, а синтаксис запросов прост и понятен.
Исторически SQL создавали, как инструмент для отбора и управления данными, которые закопаны в связанных таблицах. Перед создателями стояла цель — разработать эффективный и простой инструмент. Он должен быть понятен тем, кто не разбирается в языках программирования. Сегодня операторами SQL-запросов могут быть и экономисты, и бухгалтера, и финансисты, даже товароведы и другие специалисты.
Если вы отлично ладите с таблицами Excel, у вас хорошие шансы быстро освоить SQL. Даже если знаний по Excel не хватает, есть специализированные курсы , которые помогут быстро получить нужные навыки.
Чтобы развиваться по специальности экономиста или финансиста, нужны курсы и тренинги по языку SQL . Владение средствами поиска и анализа данных — это то что отличает настоящего аналитика, от обычного экономиста.
Изучив новый язык запросов, вы никогда не останетесь без работы в современном технологичном мире. Наоборот получите шансы подняться вверх по карьерной лестнице или даже выйти на международный уровень.
Истории выпускников Нетологии
Арсений Сова, выпускник курсов по аналитике в Нетологии:
Я работал менеджером проектов долгое время — своя команда, разработка различных программных решений, спектр задач довольно широкий. Потом решил с головой уйти в переквалификацию в менеджера продукта, и посчитал, что скилы аналитика подтянуть нужно. Соответственно оказался в Нетологии и изучал SQL . Для менеджера продукта он нужен как воздух — чем крупнее компания, тем сильнее.
Самое крутое в SQL — это его простота, гибкость, и очень низкий порог входа . Появление clickhouse вдохнуло в sql жизнь, в СНГ особенно. Самое главное — простота получения данных, как для дальнейшего анализа, так и для первичного знакомства с данными.
Например, исследование активности пользователей на проекте; исследования аудитории; получение данных для первичного анализа. Частая история, что менеджер продукта готовит отчетность, и соответственно, данные как-то собирать нужно. Даже проведение А/Б-тестирование — это все начинается с SQL.
Да и вообще, подводя итог, без SQL, на мой взгляд, никуда, уже скоро требование знаний по excel станет для всех — смех-смехом, все чаще вижу, что нужно знание sql, хотя бы на базовом уровне.
Роман Крапивин , руководитель проектов компании ООО «ИНТЭК» и выпускник курсов по аналитике в Нетологии:
Я работаю в строительном секторе руководителем проектов. За последние 3 года мы реализовали три крупных проекта на территории Москвы в сфере гражданского строительства.
И я пошёл на курс SQL по нескольким причинам. Во-первых, данный инструмент является одним из самых важных в арсенале аналитика в современном мире. На мой взгляд, не зная SQL, невозможно в дальнейшем развиваться как аналитик.
Во-вторых, во многих современных компаниях, которые работают с большим объемом информации (большими данными) требуют знания SQL. Так как в дальнейшем я хочу развиваться в финансовой сфере или сфере ритейла, знание данного инструмента просто необходимо для меня.
Источник
Are you a seasoned Excel user? In this article, we’ll look at why you would want to learn SQL if you already are an Excel user.
I was once in the same place as you. I started programming in the late 1970s and early 1980s. In the 1990s, I first started creating spreadsheets and used Microsoft Access (another type of database). However, it was over a decade later before I began to investigate SQL Server.
Isn’t that just for big businesses? Why should you learn it? Let’s find out.
Similarities between Excel and SQL Server
What do Excel and SQL Server have in common?
- They can both store data.
- They both have a vast array of functions that you can use in formulas to manipulate the data or join multiple sets of data together.
- You can then use the finished results in your analysis.
However, the similarities stop there.
Differences between Excel and SQL Server
Adding Data in Excel
Excel is excellent as a presenting tool, but the spreadsheet application does have its disadvantages when it comes to data entry. It holds data in an unstructured format, meaning that users can put information anywhere they want in the spreadsheet.
In the image below, data analysis would only be accurate if you store the dates in column A. Because Excel has no limitations, the user could insert dates into columns A, B, and F without Excel raising any errors.
Also, the data in a single column doesn’t need to be of the same type. For example, users could insert dates, text, and numbers in the same column, making analysis hard to do. You can also merge cells together, which may be suitable when creating presentations, but it makes analyzing data much harder. Of course, this is especially true if you are using more structured analysis techniques such as PivotTables.
Fortunately, you can use the data validation tool to stop this from happening. Data validation ensures that users are inputting the correct type of data in each column. You could also protect the spreadsheet to prevent users from making structural changes, such as Merge Cells. However, in my experience, these types of safeguards are never used.
Adding Data in SQL Server
SQL Server has strongly typed data storage. This means that each column has a single data type such as text, date, or number. It is not possible to put anything in a particular column which is not compatible with its type. For example, you could insert “1” into a text column because it can convert “1” into text. However, you cannot insert “hello” into a number column because it cannot be converted. If you attempt to do this, you will encounter an error. Additionally, SQL Server cannot merge individual cells in tables together.
Your data is immediately validated in SQL, increasing your data integrity and allowing for more reliable analysis.
Adding functions into data in Excel
In Excel, you might have 100,000 rows of data, including FirstName and LastName columns, and you want to create a FullName column. That is a very easy formula to create using a formula like the following:
= A2 & ” ” & B2
However, you’ll have to create this formula for each data row. This increases the time required to calculate the values and increases the file size, as Excel has to store these formulas.
There are ways around this in Excel. You could:
- Use more advanced array formulas
- Create calculated columns in an Excel Table
- Use Get and Transform or Power Pivot to create the extra columns
However, the default is that you have to make a formula for each of these 100,000 rows.
Adding functions into data in SQL Server
In SQL Server, you only need to add one formula. SQL stands for “structured query language,” and you can use the programming language to add this formula. For example, you could add a computed column in your table or create a SELECT statement which concatenates these columns:
SELECT FirstName, LastName, FirstName + ' ' + LastName AS FullName
FROM myTable
You can save the results of these SQL queries as Views or Stored Procedures and regenerate the results whenever you want. You could also use it in more advanced fields like data science.
Security in Excel
Excel has not got many security features. This can be a concern if you have sensitive data, such as personal or salary data.
When saving your spreadsheet, you could password protect it. This means that you need that password to open the Excel file.
However, someone can bypass this protection using password crackers, which are readily available on the Internet.
Another way of locking down Excel is by protecting locked cells in a spreadsheet. This could stop people from looking at a particular formula to see how it is calculated, or changing some of the styles or content (such as merging cells together).
While useful, this again can be turned off using password crackers.
Security in SQL Server
As a Database Management System, SQL Server has security at its core.
- To access an SQL Server instance, you first need a set of credentials. This could be your Windows login or a separate username and password.
- In order to access a database within that instance, you also need to have a valid SQL user associated with that login.
This user account will also determine what sort of access you will have to the data. For instance, you may only be able to read a certain set of tables or queries. Alternatively, you may be able to only insert data without the ability to read it.
SQL Server is also good for version control. Suppose you added some data, altered it, then deleted it. In an Excel spreadsheet, you would only have the end result (namely, that nothing had changed). In SQL Server, you could have the entire history if you wanted to track it.
Can you use Excel and SQL Server together?
If you store data in SQL Server, can you use it in Excel? Absolutely, and it is very easy to do. In Excel, you can go to the Data tab and link data from SQL Server by going to Data – Get Data – From Database – From SQL Server Database.
This can be the original data or processed data. In this way, SQL Server can process the data, and Excel can then make the visualizations you want from the analysis.
Excel can have up to around a million rows in a single spreadsheet, and tables in SQL Server can store enormous amounts of data. Therefore, if you are importing big data sets into Excel, you have two options:
- Pre-process the data in SQL Server, which allows you to bring in the analysis.
- Import the data into Get and Transform first, which can then do the analysis.
The data can be refreshed by right-clicking on the table and choosing Refresh.
This means that:
- Your data analysis can be up to date whenever you want.
- Multiple people can access the same data at the same time.
- Multiple people can insert data at the same time into a central database.
You can’t do this easily in Excel. It is much simpler when you use SQL and Excel together.
How can I learn SQL?
If you are interested in learning how SQL Server works, why not look at my course “Database Fundamentals,” which is exclusive to Udemy.
In just over 8 hours, you will learn the key concepts of SQL Server:
- Learn the six principal clauses of the SELECT statement
- Create tables, views, and stored procedures
- Learn about security and backups
For a more in-depth look at the SELECT statement and related objects, please go to my “Querying Microsoft SQL Server with Transact-SQL” course.
However, maybe you want to know more about Get, Transform, and Power Pivot? If so, please have a look at my “Analyzing and Visualizing Data with Microsoft Excel” course. It also shows how to connect Excel with SQL Server.
I hope that you enjoyed this article and that you found it useful. Maybe you will consider looking at learning SQL Server. You can then connect it to your Excel visualizations.If you’re ready to learn more about SQL or Excel, please continue on to Udemy’s other blog articles. “What is Excel and how it can work for you?” will give you an overview of how the spreadsheet software became an essential skill for professionals. “What is SQL?” and “Best way to learn SQL,” will give you a deeper understanding of the database language. In my next article I will explain how to use SQL in Excel in more detail.
Как по мне, основное преимущество баз данных перед электронными таблицами — возможность быстрой обработки огромного объёма данных.
Откройте эксель-файл в несколько сот мегабайт — и насладитесь тормозами и тупняками экселя. А что, если из этого файла выдернуть сотню записей, удовлетворяющих определённым критериям? Что если это нужно делать 100 раз в секунду по запросам? А если результат должен быть возвращён не за минуту, а за секунду, иначе клиент не захочет ждать, пока программа вернёт ему то, что нужно?
Эксель и другие электронные таблицы для такого явно не годятся. В то время, как СУБД могут с лёгкостью обрабатывать гигабайты и даже терабайты данных (естественно, при условии, что структура БД, индексы и запросы составлены грамотно, иначе — быстрой обработки не видать, преимуществ перед обычным файлами при неграмотном подходе никаких не будет).
Ну и навскидку — не припомню ни одной программы, которая хранит данные в Excel. В то время, как в sqlite — хранят все современные браузеры (firefox, chrome и их производные, за Edge не скажу), а также множество прикладных программ, тут список только известных.
Бизнесмены, госкорпорации, государственные органы, все стремятся использовать как можно больше высоких технологий для достижения поставленных целей. Ну буквально всё, что возможно, хочется автоматизировать: бухгалтерский и управленческий учет, финансы и логистику, транспорт и продажи. На высокооплачиваемые должности привлекают специалистов подкованных в современных технологиях.
Предпочтение отдается тем сотрудникам, которые за короткий срок могут обработать большой объем информации. Потому что своевременная и точная информация стоит дорого. Современные технологии убегают от вас далеко вперед? Но на самом деле ещё есть время наверстать упущенное и получить для себя отличные перспективы карьерного роста. Востребованными становятся новые специальности, даже освобождается время на то, о чем раньше вы задумывались только вскользь — переобучение.
Мы уже рассказывали о профессиях, в которых можно успешно развиваться на сегодняшний день. А сегодня мы попробуем доходчиво, простыми словами рассказать об SQL — инструменте, с которым можно сделать первый шаг в в сферу аналитики. Хотя его использование, конечно, этим не ограничивается.
SQL (ЭсКуЭль) — это и язык для программистов и мощный инструмент для всех специалистов, которым требуется анализировать и обрабатывать информацию из баз данных. Продвинутые аналитики, финансисты, экономисты и даже бухгалтеры или товароведы учат SQL.
SQL — следующая ступень эволюции после общеизвестных программ Excel и Access. Но это не программа, это язык запросов, которые понимают другие приложения и базы данных в целом.
На примере Excel можно объяснить работу SQL запросов
Информация о продажах, закупках, бухгалтерских проводках хранится в связанных между собой таблицах (например, таких как база 1С или база данных вашей товароучетной программы).
Данные имеют свои идентификаторы (id). Благодаря этому вся информация структурирована не в одной громоздкой таблице, а в множестве маленьких и «легких», связанных между собой особенными отношениями таблиц. Таким образом уменьшается объем файла с информацией. Он занимает меньше места на диске, время выполнения запросов сокращается, система работает быстрее.
На языке SQL пишутся специальные запросы (так называемые SQL инструкции) к базе данных с целью получения данных или для манипулирования ими.
Задав правильный запрос к базам, вы можете создавать таблицы, извлекать данные, удалять, фильтровать и т.п.
Плюсы SQL запросов:
- используются на международном уровне;
- инструменты SQL внедрены во все пакетные решения;
- SQL имеет поддержку во всех языках программирования;
- все системы управления базами данных (Oracle Database, Interbase, Firebird, Microsoft SQL Server, PostgreSQL) понимают SQL ;
- запросы открывают доступ к базе данных для разных аналитиков;
- находят ответы на непредсказуемые запросы руководства (это значит, что не нужно будет покупать новое приложение для решения новых и нестандартных задач).
Жизненная необходимость SQL инструментов
SQL активно используется при работе специалистами разных сфер. Например, маркетологами (чтобы реклама била точно в цель) или журналистами, стремящимися подкрепить свои статьи фактами.
Но он также нужен экономисту банка или торговой сети, который хочет стать ведущим аналитиком. Т.е. первая причина для освоения — карьерный рост.
Когда страничек в книге Excel уже не хватает, фильтрация, поиск и обработка занимает все рабочее время аналитиков — значит бизнес достаточно масштабирован и готов общаться на языке программирования. Масштабирование бизнеса — еще одна из причин для привлечения экономистов со знанием SQL.
В растущей компании объем данных увеличивается в геометрической прогрессии, чтобы информацию обработать и не потерять, да еще и проанализировать требуются финансовые аналитики, умеющие говорить на SQL.
В экселе можно долго и упорно настраивать фильтры, сортировать, но на специальном языке запросов компьютер вас поймет быстрее и точнее.
Простые ответы на сложные вопросы с помощью SQL
В огромной сети магазинов, типа Ашан, товаровед решает, сколько товаров нужно заказать у поставщиков для выполнения текущих заказов. Для решения потребуется выполнить множество расчетов: нужно посчитать остатки товара с учетом нормы запаса, посчитать дефицит товара, вывести название продукта и название поставщика. Такую многошаговую задачу решают SQL-запросы.
Для экономиста базы данных выведут список чеков за выбранный день дороже или дешевле нужной суммы и покажут, на каких кассах их пробили.
Финансовый аналитик с помощью SQL получает правильные исходные данные для построения дальнейших гипотез развития бизнеса. Он сможет верно определить причинно-следственных связи в поведении исследуемых реалий.
Можно долго перечислять возможности вашей базы данных после внедрения SQL-запросов, быстрее научиться и решать непосредственно свои задачи.
Как освоить SQL
Приятная новость в том, что в изучении SQL нет ничего сложного, это быстро, а синтаксис запросов прост и понятен.
Исторически SQL создавали, как инструмент для отбора и управления данными, которые закопаны в связанных таблицах. Перед создателями стояла цель — разработать эффективный и простой инструмент. Он должен быть понятен тем, кто не разбирается в языках программирования. Сегодня операторами SQL-запросов могут быть и экономисты, и бухгалтера, и финансисты, даже товароведы и другие специалисты.
Если вы отлично ладите с таблицами Excel, у вас хорошие шансы быстро освоить SQL. Даже если знаний по Excel не хватает, есть специализированные курсы, которые помогут быстро получить нужные навыки.
Чтобы развиваться по специальности экономиста или финансиста, нужны курсы и тренинги по языку SQL. Владение средствами поиска и анализа данных — это то что отличает настоящего аналитика, от обычного экономиста.
Изучив новый язык запросов, вы никогда не останетесь без работы в современном технологичном мире. Наоборот получите шансы подняться вверх по карьерной лестнице или даже выйти на международный уровень.
Истории выпускников Нетологии
Арсений Сова, выпускник курсов по аналитике в Нетологии:
Я работал менеджером проектов долгое время — своя команда, разработка различных программных решений, спектр задач довольно широкий. Потом решил с головой уйти в переквалификацию в менеджера продукта, и посчитал, что скилы аналитика подтянуть нужно. Соответственно оказался в Нетологии и изучал SQL. Для менеджера продукта он нужен как воздух — чем крупнее компания, тем сильнее.
Самое крутое в SQL — это его простота, гибкость, и очень низкий порог входа. Появление clickhouse вдохнуло в sql жизнь, в СНГ особенно. Самое главное — простота получения данных, как для дальнейшего анализа, так и для первичного знакомства с данными.
Например, исследование активности пользователей на проекте; исследования аудитории; получение данных для первичного анализа. Частая история, что менеджер продукта готовит отчетность, и соответственно, данные как-то собирать нужно. Даже проведение А/Б-тестирование — это все начинается с SQL.
Да и вообще, подводя итог, без SQL, на мой взгляд, никуда, уже скоро требование знаний по excel станет для всех — смех-смехом, все чаще вижу, что нужно знание sql, хотя бы на базовом уровне.
Роман Крапивин, руководитель проектов компании ООО «ИНТЭК» и выпускник курсов по аналитике в Нетологии:
Я работаю в строительном секторе руководителем проектов. За последние 3 года мы реализовали три крупных проекта на территории Москвы в сфере гражданского строительства.
И я пошёл на курс SQL по нескольким причинам. Во-первых, данный инструмент является одним из самых важных в арсенале аналитика в современном мире. На мой взгляд, не зная SQL, невозможно в дальнейшем развиваться как аналитик.
Во-вторых, во многих современных компаниях, которые работают с большим объемом информации (большими данными) требуют знания SQL. Так как в дальнейшем я хочу развиваться в финансовой сфере или сфере ритейла, знание данного инструмента просто необходимо для меня.
Демостенд Falcon Space – работа с таблицей в стиле Excel
Excel – инструмент де факто для решения очень большого круга бизнес-задач. Это учет, ведение заметок, обсуждение вопросов, вычисления, отчетность.
При некоторых его минусах – это поистине великий инструмент.
Любой деловой человек должен уметь свободно работать с Excel или его аналогом.
Мое предположение, что рано или поздно любой деловой человек должен будет уметь владеть sql как гибким средством извлечения любой информации своей учетной системы.
SQL – это язык запросов к базе данных. Рано или поздно появится инструмент, который позволит просто вести учет в базе данных, а не в таблицах Excel.
Когда-то Excel не было и люди вели записки в обычных файлах. Создание такого простого инструмента как Excel дало значительный толчок для развития бизнеса.
При этом все же для учета Excel подходит все же частично, т.к. не может создать реляционную модель данных и имеет множество других нюансов в использовании.
В данный момент мы делаем систему, которая позволит создавать программы с личными кабинетами на основе Веб. Мы прорабатываем процесс перехода и адаптации с Excel в свою систему личных кабинетов. Посмотрим что из этого выйдет.
Наша демка программы по учету с возможностью кастомизации
Если вы планируете серьезно переходить на свою программу – то изучите нашу промостраницу про уход от Excel в сторону своей программы.
Мы проводим обучение и даем возможность стажировки на базе нашей платформы с управлением на SQL. Если вам это интересно, то пожалуйста посмотрите Вакансия для SQL Server программиста фриланс, удаленно.
Excel and SQL make up two of the most popular and powerful ways of working with data. You will find “Excel” and “SQL” in many job descriptions—especially for data analyst roles. What exactly are these data-related tools? Which one is better, and which one should you learn?
What is Microsoft Excel?
Microsoft Excel is a computer program that uses spreadsheets to help users store, manipulate, and analyze data. The program is widely used in business analyst roles for quick calculations, data summaries, and data visualizations.
What is SQL?
SQL stands for Structured Query Language. Data analysts use SQL to manage large databases and pull relevant data for business-use.
SQL is not a general programming language. Unlike with Python or Java, you cannot use SQL to implement sophisticated programs; SQL only lets you read, manipulate, and search through databases to convert raw data into organized, tabular information.
What are the differences between Excel and SQL?
The main differences between Excel and SQL revolve around accessibility and power:
- Excel is known for its ease-of-use. The application presents a visual notebook that makes it easy to format and visualize data.
- SQL is known for speed and volume. It lets users work with enormous amounts of raw data without sacrificing speed—Excel starts to lag with larger volumes of data.
Both Excel and SQL let data analysts work with data, but the two tools have different use-cases depending on a business’s data needs and expectations. Understanding the differences in terms of advantages and disadvantages with Excel and SQL will help you make the most of your data.
What is Excel good at?
Excel is a powerful tool that is easy to learn and great for quick data analysis. Its workbook aesthetic, color options, and easy formatting make data much more accessible to users. For instance:
- Excel simplifies data. As an example, Excel cells let you store strings of information like “January 3, 2020,” whereas relational databases using SQL would divide the date into three separate cells.
- Excel is more visual than SQL—instead of writing commands, users get to directly work with and manipulate their data in tables.
Because of its ease-of-use, Excel is commonly used across industries and widely taught in schools. If you’re a small business owner or a team of one working with relatively small data sets—no more than a couple hundred thousand lines of data—then Excel is a great tool for you to:
- Manipulate data
- Summarize data with pivot tables
- Visualize data into charts, graphs, and tables
- Compute quick statistics—numbers that summarize your data
What is Excel weak at?
Excel gets slower the more data you ask it to handle. In fact, Excel cannot store more than one million lines of data—and the tool begins to slow down well before reaching that much data. Although the tool is visually accessible, if you are working with large data sets, you do not want to use Excel.
What is SQL good at?
SQL is fast and can handle large loads of data. Unlike Excel, SQL can handle well over one million fields of data with ease. SQL queries are also more flexible and powerful than Excel formulas.
Data analysts use SQL to interact with enormous databases by:
- Manipulating data
- Pulling data
- Filtering data
- Updating data
- Combining data
SQL has better data integrity than Excel. Each cell in SQL is limited to only one piece of information—such as day of the week or month. Extrapolating data this way might be a hassle, but it significantly reduces the chance of miscalculations and data errors.
SQL is also compatible with various database management systems, including Oracle, MySQL, and PostgreSQL. Each software is different in how it handles new data and improves control for the end-user. But SQL is a way to access data across the board.
If you are planning on working with large databases and want speed, accuracy, consistency, volume, and power, SQL is the way to go.
What is SQL weak at?
SQL is less accessible than Excel. Whereas Excel has a graphical user interface and visual options for data manipulation, SQL amounts largely to writing code to interact with relational databases. While the query language is exceptionally powerful and the industry standard for working with large amounts of data, it is harder to learn than easier data analysis tools like Excel.
Is SQL better than Excel?
The answer to this question depends entirely on how much data you have and what you’re looking to do with your data. If you have small amounts of data and want to compute or visualize quick answers, Excel is more than enough.
If you have massive databases, need to combine datasets quickly, and want more data security, SQL is the way to go. SQL lets users track data updates and limit data manipulation by other users via restrictions—Excel has less robust solutions for data integrity.
Can learning SQL replace Excel?
Learning SQL is no replacement for learning Excel, and vice versa. Both tools have their own learning curve—although many claim SQL is more difficult than Excel. That said, learning one tool may make it much easier to learn the other.
Most data analysts learn both Excel and SQL. They use SQL to work in businesses and communicate with large databases and bust out Excel to solve quicker data analysis problems. To become a strong data analyst, it’s recommended you learn both.
Learn Excel and SQL with edX
If you work with data, you will need to know SQL and Excel. Although some businesses and team members may prefer one to the other, both tools are industry standards when it comes to data analysis. Excel is useful for quick visualizations and summaries of data, whereas SQL is necessary for working with large volumes of data, managing databases, and using relational databases to their full potential.
Take your data skills to the next level with edX. Learn Excel and study SQL online today!