Добавить эти данные в модель данных excel что это

Спецификации и ограничения модели данных.

Модель данных — это внедренные данные в книгу Excel которая работает с визуализациями данных, такими как совые таблицы и совые диаграммы. В этой статье описаны максимальные и настраиваемые пределы для книг Excel, которые содержат модели данных.

Книги, содержащие модель данных и визуализации данных, часто бывают очень большими и иногда превышают ограничения на размер файлов, накладываемые SharePoint Online или Office в Интернете в Microsoft 365.

В следующей таблице Excel 2010 2010 г. 2016 г. 2016 г. 2016 г. 2016 г. 2016 г. 2016 г. 2016 г. Советы по уменьшению размера модели см. в Excel модели данных с эффективным использованием памяти и надстройки Power Pivot.

Вы также можете использовать оптимизатор размера книги. Оно анализирует ваши книги Excel и при возможности дополнительно сжимает их.

Продукт или платформа

В 32-битной среде выделяется 2 ГБ виртуального адресного пространства, предоставленного в совместный доступ Excel, книге и надстройкам, которые работают в том же процессе. Доля адресного пространства, выделяемого для модели данных, может достигать 500–700 мегабайт (МБ), но может быть и меньше, если загружаются другие модели данных и надстройки.

64-разрядная среда не накладывает жестких ограничений на размер файлов. Размер книги ограничен только объемом доступной памяти и ресурсами системы.

SharePoint Server 2013 (1)

Максимальный размер файла для отправки в библиотеку документов:

По умолчанию 50 МБ

Максимальный размер файла для обработки книги в службах Excel:

по умолчанию 10 МБ;

Excel в Интернете в Office 365 3

Предельный общий размер файла — 250 МБ. Ограничения основного содержимого листа (все данные, хранящиеся не в модели данных) определяются согласно ограничениям размера файлов для книг в SharePoint Online.

Power BI Pro или бесплатная служба

(1) На SharePoint Server обратите внимание, что значения по умолчанию значительно ниже максимально допустимых. Попросите администратора SharePoint повысить пределы объема файлов, если ваш файл слишком велик для отправки или обработки. Дополнительные сведения о границах и ограничениях программного обеспечения для SharePoint Server 2013.

(2) Максимальный Upload размер должен быть настроен для каждого веб-приложения администратором SharePoint администратором. Администратор служб должен настроить максимальный размер книги в службах Excel. Дополнительные сведения для администраторов можно найти в окне Настройка максимального размера Upload на сайте TechNet.

(3) Ограничения в Microsoft 365 не настраиваются, но могут изменяться со временем. Последние сведения Microsoft 365 в Enterprise для служб. Вы также можете увидеть ограниченияSharePoint в Интернете.

В следующей таблице приведен максимальный размер и количество различных объектов, заданных в модели данных.

Символы в имени таблицы или столбца.

Количество таблиц в модели

Количество столбцов и вычисляемых столбцов в таблице.

Количество параллельных запросов к книге.

Количество различающихся значений в столбце

Количество строк в таблице

536 870 912 байт (512 МБ), эквивалентно 268 435 456 символам в Юникоде (256 мегасимволам)

Внимание:
Исключения из ограничения строк применяются к следующим функциям, где число строк ограничено 2097 152 символами Юникода:

Источник

Добавить эти данные в модель данных excel что это

Если вы ещё не знакомы со сводными таблицами, то начните с этой статьи.

Проблема

Бывает так, что анализируемые данные попадают к нам в виде отдельных таблиц, которые, тем не менее, нужно связать. Это легко может сделать MS Access, а в Excel для этого приходилось всегда использовать формулы типа ВПР (VLOOKUP). Однако, начиная с Excel 2013, у нас появилась возможность при построении сводной таблицы в качестве источника использовать несколько таблиц, связанных между собой по ключевым полям.

Пример

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Таблица Строк заказов:

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Скачать пример

Создание модели данных

Создадим сводную таблицу на основе любой из имеющихся таблиц.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

В появившейся панеле Поля сводной таблицы вы видите надпись ДРУГИЕ ТАБЛИЦЫ.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Нажмём её. Появится такой вопрос:

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Отвечаем Да и видим, что в список полей добавились все наши таблицы:

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Если вы начнёте выбирать поля, то через некоторое время в списке полей появится кнопка СОЗДАТЬ.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Аналогично создаём другие связи.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это
Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

В диалоговое окно Управление связями можно попасть через ленту АНАЛИЗ команда Отношения

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Результат будет таким:

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

В результате все наши таблицы теперь связаны и вы можете сформировать, к примеру, такой отчёт:

Источник

Сводная таблица на основе внутренней модели данных

В Excel 2013 появился новый аналитический механизм: модель данных. Каждая рабочая книга располагает собственной внутренней моделью данных, упрощающей анализ разрозненных источников данных. [1] Идея, заложенная в основу модели данных, проста. Предположим, что в вашем распоряжении имеются две таблицы: Заказы (рис. 1) и Сотрудники (рис. 2). В таблице Заказы содержится информация о сделках (код сотрудника, дата и сумма счета-фактуры, период продаж). В таблице Сотрудники находится информация о сотрудниках: код, фамилия, имя и должность. Если нужно проанализировать суммы продаж в зависимости от должности сотрудника, следует объединить информацию, содержащуюся в двух таблицах. Чтобы ваши данные имели вид Таблицы – инструмента Excel(поэтому пишется с заглавной буквы) – кликните на любой ячейке таблицы данных и выполните команду Создать Таблицу: Ctrl+T.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 1. Информация о сделках

Скачать заметку в формате Word или pdf, примеры в формате Excel

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 2. Информация о сотрудниках

Выполнение подобной задачи в прошлом потребовало бы использования множества формул ВПР, СУММЕСЛИ и других. После появления модели данных в Excel 2013 достаточно объявить обе таблицы связанными (по коду сотрудника) и включить их в модель данных. Модель данных Excel создает куб аналитики на основе связи между кодами сотрудников и передает нужные данные в сводную таблицу.

Наша задача заключается в том, чтобы отобразить суммы продаж в зависимости от должности сотрудника. В прежних версиях Excel решить подобную задачу было непросто, поскольку сведения о продажах и должностях сотрудников находились в отдельных таблицах. После появления модели данных достаточно выполнить следующие действия:

1. Щелкните в области таблицы Заказы и начните создавать новую сводную таблицу, выбрав команду ВставкаСводная таблица.

2. В диалоговом окне Создание сводной таблицы установите флажок Добавить данные в модель данных (рис. 3). Обратите внимание на то, что в окне Создание сводной таблицы находится ссылка на именованный диапазон (Таблицу данных); в нашем примере – Заказы. Рекомендуется присваивать говорящие имена Таблицам данных. Это облегчит распознавание таблиц, находящихся в модели данных. Если не присваивать названия Таблицам данных, модель данных отобразит их под названиями Таблица 1, Таблица2 и т.д. Чтобы назначить Таблице данных имя, кликните на Таблице, перейдите на контекстную вкладку Работа с даннымиКонструктор и в поле Имя таблицы введите говорящее имя. Повторите эту операцию для всех остальных Таблиц.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 3. Создайте сводную таблицу на основе таблицы данных Заказы

3. Щелкните в области таблицы данных Сотрудники и начните создавать новую сводную таблицу. Не забудьте установить флажок Добавить эти данные в модель данных.

4. После добавления таблиц в модель данных перейдите к списку полей сводной таблицы и выберите переключатель ВСЕ. В списке полей появятся два диапазона, соответствующие таблицам данных (рис. 4).

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 4. В списке полей сводной таблицы выберите параметр ВСЕ, чтобы получить доступ ко всем таблицам, находящимся в модели данных

5. Создайте сводную таблицу обычным образом. В новой таблице поле Должность появится в области СТРОКИ, а поле Сумма по столбцу Объем продаж — в области ЗНАЧЕНИЯ. Программа тут же распознает, что используются две таблицы из модели данных, и предлагает создать связь между ними (рис. 5). Щелкните на кнопке Создать.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 5. Выберите создание связи между таблицами после отображения соответствующего запроса

6. На экране появится диалоговое окно Создание связи (рис. 6). В этом окне можно выбрать таблицы и поля, для которых создается связь. На этом рисунке показана таблица Заказы с полем Код сотрудника. Эта таблица связана с таблицей Сотрудники с помощью поля Код сотрудника.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 6. Создайте подходящую связь, используя раскрывающиеся списки

7. После создания связи можно использовать данные из двух таблиц для отображения требуемых результатов. Применение модели данных проиллюстрировано на рис. 7.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 7. Отображение объема продаж по должностям сотрудников

Первичные ключи. Обратите внимание на рис. 6 на раскрывающийся список Связанный столбец (первичный ключ). Это означает, что модель данных использует поле, относящееся к связанной таблице, в качестве первичного ключа. Первичный ключ — это поле, содержащее лишь уникальные ненулевые значения (без дубликатов и пустых значений). Первичные ключи применяются в модели данных в целях предотвращения ошибок суммирования и дубликатов. В каждой связи должен быть хотя бы один первичный ключ. Поскольку поле Код сотрудника, находящееся в таблице Сотрудники, является первичным ключом, оно должно включать только уникальные значения (без пробелов и нулевых значений). Первичный ключ обеспечивает единственный способ сохранения целостности данных при объединении нескольких таблиц.

Управление связями в модели данных

После включения таблиц во внутреннюю модель данных может потребоваться настройка связей, установленных между ними. Чтобы изменить связи модели данных, отобразите диалоговое окно Управление связями. Для этого выберите вкладку ленты Данные и в области Работа с данными щелкните на кнопке Отношения. Требуемое окно появится на экране (рис. 8).

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 8. В диалоговом окне Управление связями можно изменить связи, заданные в модели данных

В этом окне доступны следующие команды, применяемые для изменения связей между таблицами:

Добавление новой таблицы в модель данных. Чтобы добавить новую таблицу в модель данных, воспользуйтесь одним из следующих двух способов.

Во-первых, можно создать сводную таблицу на основе новой Таблицы данных (в нашем примере – Местоположения). В окне создания сводной таблицы установите флажок Добавить эти данные в модель данных. Excel добавит Таблицу в модель данных и создаст сводную таблицу. После добавления сводной таблицы можно открыть диалоговое окно Управление связями и создать нужные связи.

Второй (и более гибкий) способ заключается в том, чтобы создать таблицу вручную и добавить ее в модель данных. Выполните следующие действия.

1. Если вы еще не создали Таблицу, поместите курсор в таблицу данных (лист ExcelМестоположения, любую ячейку в диапазоне А1:С55), перейдите на вкладку Вставка щелкните на кнопке Таблица (рис. 9). Можно, встав в ячейку таблицы данных, нажать Ctrl+T. На экране появится диалоговое окно (рис. 10), в котором задается диапазон данных. Нажмите Ok. Программа преобразует этот диапазон в Таблицу, которая может распознаваться внутренней моделью данных.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 9. Создание Таблицы на основе исходных данных

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 10. Преобразование диапазона в таблицу

2. На контекстной вкладке Работа с таблицамиКонструктор, измените значение поля Имя таблицы, выбрав легко запоминаемое имя; в нашем примере – Отделения.

3. Перейдите на вкладку ленты Данные и в области Подключения щелкните на кнопке Подключения. На экране появится диалоговое окно Подключения к книге (рис. 11). Щелкните на стрелке раскрывающегося списка, находящейся справа от кнопки Добавить, и выберите пункт Добавить в модель данных.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 11. Откройте диалоговое окно Подключения к книге и выберите пункт меню Добавить в модель данных

4. На экране появится диалоговое окно Существующие подключения (рис. 12). Перейдите на вкладку Таблицы и выделите только что созданную Таблицу. Щелкните на кнопке Открыть, чтобы добавить выбранную таблицу в модель данных.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 12. В окне Существующие подключения перейдите на вкладку Таблицы, выделите только что созданную Таблицу и щелкните Открыть

5. Все сводные таблицы, созданные на основе модели данных, обновляются с учетом добавления новой таблицы. Не забудьте открыть диалоговое окно Управление связями и создать требуемую связь.

Удаление таблицы из модели данных. Иногда возникает необходимость в удалении Таблицы или источника из модели данных. Чтобы выполнить эту задачу, выберите вкладку ленты Данные и щелкните на кнопке Подключения. На экране появится диалоговое окно Подключения к книге (рис. 13). Выберите таблицу, а затем кликните на кнопке Удалить.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 13. С помощью окна Подключения к книге можно удалить любую таблицу из внутренней модели данных

Создание новой сводной таблицы с помощью модели данных. Иногда приходится создавать сводные таблицы «с нуля», используя в качестве источника данных существующую внутреннюю модель данных. Для этого выполните следующие действия.

1. Выполните команду Вставка → Сводная таблица. Отобразится диалоговое окно Создание сводной таблицы. Установите флажок Использовать внешний источник данных (рис. 14), и щелкните на кнопке Выбрать подключение.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 14. Окно Создание сводной таблицы

2. На экране появится диалоговое окно Существующие подключения (рис. 15). На вкладке Таблицы выберите параметр Таблицы в модели данных книги и щелкните на кнопке Открыть.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 15. Окно Существующие подключения

3. Вы вернитесь обратно в диалоговое окно Создание сводной таблицы. Щелкните ОК.

4. Если создание сводной таблицы завершилось удачно, появится панель области задач Поля сводной таблицы, отображающая все таблицы, включенные во внутреннюю модель данных (рис. 16).

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Рис. 16. После успешного завершения создания сводной таблицы отображаются все таблицы, относящиеся к модели данных

Ограничения внутренней модели данных

Как и все остальное в Excel, внутренняя модель данных имеет определенные ограничения:

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

[1] Заметка написана на основе книги Джелен, Александер. Сводные таблицы в Microsoft Excel 2013. Глава 7.

2 комментария для “Сводная таблица на основе внутренней модели данных”

Сергей, добрый день.
Важно отметить, что при таком способе создания сводной таблицы появляется в «Параметры полей значений…» возможность подсчета количества уникальных значений в случае выбора «Число различных элементов».

Спасибо, отличное дополнение! Речь идет о том, что помимо традиционных операций, доступных в полях значений — сумма, количество, минимум и др. (подробнее см. Вычисления в сводной таблице (в области значений) в Excel 2013 ) — становится доступна еще одна операция: подсчет числа различных элементов.
Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Источник

Создание модели данных с эффективным использованием памяти Excel и надстройки Power Pivot

В Excel 2013 г. или более поздней можно создавать модели данных, содержащие миллионы строк, а затем выполнять с этими моделями мощный анализ данных. Модели данных можно создавать как с использованием надстройки Power Pivot для поддержки любого количества сводных таблиц, диаграмм и визуализации отчетов Power View в одной книге, так и без нее.

Примечание: В этой статье описаны модели данных Excel 2013. Тем не менее те же функции моделирования данных и Power Pivot, Excel 2013, также относятся к Excel 2016. Между этими версиями Excel фактически нет Excel.

Хотя вы можете легко создавать большие модели данных в Excel данных, есть несколько причин не делать этого. Во-первых, большие модели, содержащие большое количество таблиц и столбцов, являются неоценимыми для большинства анализа и являются утомительным списком полей. Во-вторых, большие модели используют ценную память, что отрицательно влияет на другие приложения и отчеты, в которые используются те же ресурсы системы. Наконец, в Microsoft 365, как SharePoint Online, так и Excel Web App, размер файла Excel 10 МБ. Для моделей данных книги, содержащих миллионы строк, достаточно быстро вы получите ограничение в 10 МБ. См. спецификацию и ограничения модели данных.

Из этой статьи вы узнаете, как создать тщательно продуманную модель, которая упрощает работу с данными и требует мало памяти. Время, необходимое для того, чтобы изучить методики эффективного проектирования модели, окупится при создании и использовании любой модели независимо от того, просматриваете ли вы ее в Excel 2013, Microsoft 365 SharePoint Online, на сервере Office Web Apps Server или в SharePoint 2013.

Также рекомендуем запустить средство Workbook Size Optimizer. Оно анализирует ваши книги Excel и при возможности дополнительно сжимает их. Скачайте оптимизатор размера книги.

В этой статье

Степень сжатия и аналитический обработчик в памяти

Модели данных в Excel используют аналитический обработчик в памяти для хранения данных в памяти. Этот обработчик применяет мощные технологии сжатия, чтобы уменьшить объем памяти, требуемый для хранения, в результате чего размер результирующего набора получается гораздо меньше исходного.

Вы можете получить модель данных, которая в среднем в 7–10 раз меньше исходной. Например, при импорте данных размером 7 МБ из базы данных SQL Server размер модели данных в Excel может составлять 1 МБ или меньше. Степень сжатия зависит главным образом от количества уникальных значений в каждом столбце. Чем больше уникальных значений, тем больше памяти понадобится для их хранения.

Почему мы говорим о сжатии и уникальных значениях? Поскольку построение эффективной модели, которая позволяет сократить использование памяти, — это максимальное сжатие, и самый простой способ сделать это — избавиться от столбцов, которые вам не нужны, особенно если эти столбцы содержат большое количество уникальных значений.

Примечание: Объем памяти, необходимый для хранения отдельных столбцов, может существенно отличаться. Иногда лучше иметь несколько столбцов с небольшим количеством уникальных значений, чем один столбец, в котором их много. Данный способ подробно описан в разделе об оптимизации столбцов даты и времени.

Сокращение количества столбцов для эффективного использования памяти

Меньше всего памяти занимает столбец, который вы не импортировали. Чтобы построить эффективную модель, определите значимость каждого столбца для необходимого вам анализа. Если столбец не играет большой роли, не импортируйте его. В случае необходимости вы всегда сможете добавить столбцы в дальнейшем.

Два примера столбцов, которые не нужно импортировать

Первый пример касается данных из хранилищ. В хранилищах данных всегда можно найти артефакты процессов извлечения, преобразования и загрузки, с помощью которых выполняются обновление и загрузка данных. Столбцы типа «Дата создания», «Дата обновления» и «Запуск ETL» создаются при загрузке данных. Они не нужны для построения модели, и их не следует выбирать при импорте данных.

Второй пример касается исключения столбца первичного ключа при импорте фактической таблицы.

Многие таблицы, в том числе и фактические, содержат первичные ключи. Их наличие необходимо для большинства таблиц (например, для тех, которые содержат данные о клиентах, сотрудниках или продажах), так как первичные ключи используются для создания связей внутри модели.

С фактическими таблицами дело обстоит иначе. В таких таблицах первичные ключи делают уникальной каждую строку. Это важно для нормализации, но совсем ни к чему в модели данных, где нужны только те столбцы, которые используются для анализа или установления связей между таблицами. В связи с этим рекомендуется исключать первичный ключ при импорте данных из фактической таблицы. Занимая много места в модели, первичные ключи в фактических таблицах не приносят пользы, так как они не участвуют в создании связей.

Примечание: В хранилищах и многомерных базах данных большие таблицы, содержащие преимущественно числовые данные, часто называют таблицами фактов. Как правило, таблицы фактов содержат данные о производительности предприятия или финансовых операциях (например, точки данных о продажах и затратах, которые группируются по подразделениям, продуктам, рыночным сегментам, географическим регионам и т. д.). Для поддержки анализа данных в модель следует включать все столбцы таблицы фактов, которые содержат бизнес-данные или могут использоваться для создания перекрестных ссылок на данные других таблиц. Исключается лишь столбец первичного ключа, который содержит уникальные значения, существующие только в данной таблице фактов. Из-за большого размера таблиц фактов исключение из них строк или столбцов способствует созданию эффективной модели данных.

Исключение ненужных столбцов

Эффективные модели данных содержат только те столбцы, которые действительно используются в книге. Если вы хотите контролировать, какие столбцы включаются в модель, для импорта данных вместо диалогового окна «Импорт данных» в Excel следует использовать мастер импорта таблиц в надстройке Power Pivot.

Запустив его, вы сможете выбирать таблицы для импорта.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Нажав кнопку «Просмотр и фильтр», можно выбрать необходимые элементы для каждой таблицы. Мы рекомендуем сначала снять флажки со всех столбцов, а затем установить их рядом с теми, которые необходимы для анализа.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Фильтрация необходимых строк

Многие таблицы в корпоративных базах данных и хранилищах содержат ретроспективные данные за длительный период времени. Кроме того, необходимо выяснить, содержат ли интересующие вас таблицы бизнес-данные, не отвечающие целям вашего анализа.

С помощью мастера импорта таблиц можно исключить ретроспективные или несвязанные данные, освободив таким образом место в модели. На рисунке ниже показан пример использования фильтра данных для извлечения строк, содержащих данные за текущий год, исключая ненужные ретроспективные данные.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Можно ли уменьшить объем памяти, необходимый для хранения столбца?

Существует несколько способов уменьшения размера столбца при сжатии. Как вы помните, единственным свойством столбца, влияющим на сжатие, является количество уникальных значений. В этом разделе вы узнаете, как можно изменить столбцы, чтобы уменьшить количество уникальных значений.

Изменение столбцов даты и времени

В большинстве случаев столбцы даты и времени занимают много места. К счастью, существует несколько способов уменьшения объема памяти, необходимого для хранения этого типа данных. Выбор способа зависит от того, как используется столбец, и удобства построения SQL-запросов.

Столбцы даты и времени содержат часть данных даты и часть данных времени. Выбирая нужные столбцы, тщательно продумайте следующие вопросы относительно столбца даты и времени:

нужны ли вам данные времени;

Нужна ли часть времени на уровне часов? Минут? Секунд? Миллисекунд?

зачем вам нужны несколько столбцов даты и времени (чтобы вычислить между ними разницу, или просто чтобы сгруппировать данные по году, месяцу, кварталу и т. п.).

Ответы на эти вопросы определят способ изменения столбца даты и времени.

Все эти способы требуют изменения SQL-запроса. Чтобы упростить эту задачу, следует исключить как минимум один столбец из каждой таблицы. Таким образом, конструкция запроса изменится с сокращенного формата (SELECT *) на оператор SELECT с полными именами столбцов, которые гораздо легче изменить.

Рассмотрим созданные для вас запросы. В диалоговом окне Свойства таблицы можно переключиться в редактор запросов и увидеть текущий SQL запрос для каждой таблицы.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

В окне «Свойства таблицы» выберите Редактор запросов.

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

В редакторе запросов отображается SQL-запрос, используемый для заполнения таблицы. Если вы исключили один из столбцов во время импорта, запрос содержит полные имена столбцов:

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Если вы полностью импортировали таблицу, не снимая флажок с какого-либо столбца и не применяя фильтр, запрос будет отображаться в формате «Select * from «, который намного сложнее изменить:

Добавить эти данные в модель данных excel что это. Смотреть фото Добавить эти данные в модель данных excel что это. Смотреть картинку Добавить эти данные в модель данных excel что это. Картинка про Добавить эти данные в модель данных excel что это. Фото Добавить эти данные в модель данных excel что это

Изменение SQL-запроса

Найдя запрос, вы можете его изменить, чтобы еще уменьшить размер модели.

Если столбец содержит денежные или десятичные данные, используйте такой синтаксис, чтобы исключить ненужные десятичные значения:

Если вы хотите, чтобы отображались копейки с двумя знаками в дробной части, замените 0 на 2. Отрицательные числа можно округлить до единиц, десятков, сотен и т. д.

При наличии столбца даты и времени «dbo.Bigtable.[Date Time]», в котором вам не нужна часть данных времени, используйте такой синтаксис для ее исключения:

«SELECT CAST (dbo.Bigtable.[Date time] as date) AS [Date time]) «

При наличии столбца даты и времени «dbo.Bigtable.[Date Time]», в котором вам не нужны части данных даты и времени, вместо данного столбца используйте в SQL-запросе несколько столбцов:

«SELECT CAST (dbo.Bigtable.[Date Time] as date) AS [Date Time],

datepart(hh, dbo.Bigtable.[Date Time]) as [Date Time Hours],

datepart(mi, dbo.Bigtable.[Date Time]) as [Date Time Minutes],

datepart(ss, dbo.Bigtable.[Date Time]) as [Date Time Seconds],

datepart(ms, dbo.Bigtable.[Date Time]) as [Date Time Milliseconds]»

Используйте столько столбцов, сколько требуется для сохранения каждой части в отдельном столбце.

Если вы хотите, чтобы часы и минуты отображались в одном столбце времени, используйте такой синтаксис:

Timefromparts(datepart(hh, dbo.Bigtable.[Date Time]), datepart(mm, dbo.Bigtable.[Date Time])) as [Date Time HourMinute]

Если у вас есть два столбца даты и времени, например [Start Time] и [End Time], и вам нужно получить разницу между ними в секундах в столбце [Duration], удалите оба столбца из списка, добавив следующее:

«datediff(ss,[Start Date],[End Date]) as [Duration]»

Используя ключевое слово «ms» вместо «ss», вы получите разницу в миллисекундах.

Использование вычисляемых мер DAX вместо столбцов

Если вы раньше уже использовали язык выражений DAX, вам должно быть известно, что вычисляемые столбцы используются для получения новых столбцов на основе определенного столбца в модели, а вычисляемые меры определяются в модели один раз и проверяются только при использовании в сводной таблице или другом отчете.

Один из способов эффективного использования памяти предполагает замену обычных или вычисляемых столбцов вычисляемыми мерами. Классическим примером является наличие столбцов «Цена за единицу», «Количество» и «Всего». Имея три столбца, можно освободить дополнительное место, оставив два из них и вычислив третий с помощью DAX.

Каких 2 столбца нужно оставить?

В приведенном выше примере необходимо оставить столбцы «Количество» и «Цена за единицу». Они содержат меньше значений, чем столбец «Всего». Чтобы вычислить столбец «Всего», добавьте следующую вычисляемую меру:

«TotalSales:=sumx(‘Sales Table’,’Sales Table’[Unit Price]*’Sales Table’[Quantity])»

Вычисляются столбцы, как обычные столбцы, которые обеим сторонам требуется место в модели. С другой стороны, вычисляемая мера вычисляется «на лету» и не отбирает место.

Заключение

В этой статье мы рассмотрели несколько подходов к построению модели с эффективным использованием памяти. Чтобы уменьшить размер файла и объем памяти, требуемый для хранения модели, необходимо уменьшить общее количество строк и столбцов и количество уникальных значений в каждом столбце. Вот краткое описание рассмотренных нами приемов:

удаление столбцов — лучший способ экономии места. Оставляйте только действительно нужные столбцы;

в некоторых случаях можно удалить столбец из таблицы, заменив его вычисляемой мерой;

Возможно, вам не нужны все строки в таблице. Вы можете отфильтровать строки в мастере импорта таблиц.

разбиение столбца на отдельные части позволяет уменьшить количество содержащихся в нем уникальных значений. Каждая часть будет содержать небольшое количество уникальных значений, а их общее количество получится меньше, чем в исходном столбце;

в большинстве случаев отдельные части столбца также приходится использовать в качестве срезов в отчетах. При необходимости вы можете создавать иерархии из частей, таких как часы, минуты и секунды;

как правило, столбцы содержат больше данных, чем требуется. Например, если столбец содержит десятичные значения, вы можете применить форматирование, чтобы их скрыть. Округление помогает значительно уменьшить размер числового столбца.

Теперь, когда вы сделали все возможное, чтобы уменьшить размер книги, также рекомендуем запустить средство Workbook Size Optimizer. Оно анализирует ваши книги Excel и при возможности дополнительно сжимает их. Скачайте оптимизатор размера книги.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *