大量数据应该怎么进行建模呢，有没有什么经验技巧分享下？353人已关注
河北经贸大学
嘿了个嘿关于这个内容，我不是很擅长，就不班门弄斧了，给你分享一篇以前看过的相关的文章。什么样的处理才算是正确的处理呢？为了目的不择手段？只要得到好的预测性能就万事大吉？事实确实如此，但是这么做的关键在于，你能确保未知数据也能有个不错的表现。就像我经常说的那样，你很容易就会受到它的蒙蔽，在分析训练结果的时候，轻易地就相信了你选择的方法。以下三点很重要：1.模型评价是关键数据分析/机器学习/数据科学（或任何你能想到的领域）的主要目标，就是建立一个系统，要求它在预测未知数据上有良好的表现。区分监督学习（像分类）和无监督学习（如聚合）其实没有太大的意义，因为无论如何你总会找到办法来构建和设计你的数据集。方法行不行最后还是得看它在未知数据上的表现，你得保证它能得出同你过去的训练集一样的结果。初学者最常犯一个错误就是看到已知数据的表现，就想当然的认为未知数据也会一样。通常你会发现，现实是很骨感的。这里我们就只说监督学习，任务就是根据你的输入预测输出，例如把电子邮件分成垃圾邮件和非垃圾邮件。如果你只考虑训练数据，通过让机器记住一切，很轻松的就能得到完美的预测结果（除非这些数据自相矛盾）。这并不是什么新鲜事儿，人类自己就是这样的。还记得你学外语背单词的苦逼时光么，你必须检查单词字母的顺序，因为你的大脑需要按正确的顺序记住他们。机器在存储和检索大量数据上的优势是人类拍马不及的。但这也带来了过拟合和泛化能力差的问题。所以，一个好的评价方法是模拟未知数据的影响来分割数据，一部分用来训练，一部分用来检测效果。通常，用较大的训练集建模，然后用小的那部分进行预测，经过多次迭代来得到一个较稳定的模型。这个过程就是我们常说的交叉验证。为了模拟未知数据的表现，把数据集分为两个部分，一部分用于训练，一部分用于预测。就算我们这么做了，还是很有可能出问题，特别是在数据非平稳的时候，数据的潜在分布会随着时间变来变去。利用真实数据预测时经常会碰到这种情况，同样是销售数据，六月和七月的就可能差别巨大。还有数据点间的相关性，如果你知道了一个数据点那么你肯定对另一个数据点也有了一些了解。好比股票价格，他们通常不会在两天之间任意的大幅波动，因此如果你胡乱的拆分训练/预测数据，就会破坏这种相关性。每当出现这种情况，你得到的结果就会过于乐观，而你的模型似乎不打算在现实应用中也这么给你面子。最糟糕的情况就是，你千辛万苦终于说服人们认可你的方法，结果下水一试，它当掉了……所以学习如何正确的进行模型评价是关键！2.特征提取是天学习一种新的算法感觉总是很棒，但现实是，最复杂的算法执行起来和那些老办法几乎没什么两样，真正的区别在于原始数据的特征学习。现在的模型功能看起来非常强大，随随便便就能处理成千上万的特征和数据点，其 实本质上并没聪明到哪里。特别是线性模型（像logistic回归或线性支持向量机），就是个傻乎乎的计算器。这些模型确实很擅长在数据充足的情况下识别信息的特征，但是如果信息不充足，或者不能按线性组合的特征来表示，那基本就没什么可玩了。同样这些模型也不能通过“洞察”自行简化数据。换句话说，你可以通过寻找合适的特征，来大量简化数据。坦白来讲，如果你能为想做预测的功能简化掉所有特征，那还有什么需要学习的呢？！这就是多么强大的特征提取啊！这意味着两件事情：首先，你应该确保你确实掌握了这些几乎相同的方法中的一种，并且始终不抛弃它。你真的不需要同时掌握逻辑回归和线性支持向量机，你只要选择一个就够了。这些方法几乎都是相似的，关键的不同就在于底层模型。深度学习还有些特别的东西，但线性模型在表现能力上几乎都是相同的。虽然，训练时间、解决方案的稀疏度等可能会有些不同，但在大多数情况下你会得到相同的预测性能。其次，你应该了解所有的特征工程。这是一门艺术，不幸的是，几乎所有的教科书都没有涵盖这一点，因为关于它的理论太少了。它的常规化就像我们的雾霾一样，还有很长的路要走。有时，特征需要取对数。每当降低一定的自由度，就是摆脱那些与预测任务不相关的数据，可以显著降低你所需的训练集数量。有些情况下这种类型的转化会不可思议的简单。例如，如果你正在做手写字体识别，你就会发现有没有一个识别度高的颜色并不重要，你只要有一个背景和前景就OK了。我知道，教科书往往将算法模型描述的异常强大，好像只要你把数据扔给模型，他们就会把一些都做了。从理论和无限的数据源上看它可能是对的。但很遗憾，我们的时间和数据都是有限的，所以寻找包含信息大的特征是绝对有必要的。3.最耗神的是模型选择，而不是数据集的大小在大数据时代，很多你不想被人知道的事情都被你的主内存以数据集的方式完美的记录下来。你的模型可能不需要花太多时间就能跑完这些数据，但是却要花费非常多的时间从原始数据中提取特征，利用交叉验证的方法来比较不同学习模型的渠道和参数。为了选择合适的模型，你需要大量的组合参数，再利用备份数据来评估它的表现。问题来了，组合参数的爆发式增长。如果你只有两个参数，可能只需要花费1分钟就能完成训练，并且得到性能的评估结果（用合适的评估像我上面说的那样）。但如果每个参数有5个候选值，那就需要执行5倍的交叉验证（把数据集分成5份，每个测试都跑5遍，在每一次迭代中用不同的数据测试），这意味着你需要把上面的步骤重复125次去找到一个好的模型，你要等待的就不是1分钟，而是两小时。好消息是，在多参数的情况下你可以并行操作，因为每个部分都是独立运行的。这 种对每个独立数据集进行相同操作（分割，提取，转换等）的过程，被称为“密集并行”（没错，这是一个技术术语）。这里的坏消息大多针对大数据，因为这些都意味着很少需要复杂模型的可扩展实现。在大多数情况下，仅仅通过对内存中的数据执行相同的非分布式算法，再把这种方法并行化就足够了。当然，像用于TB级日志数据的广告优化和面向百万用户推荐的 learning global models这样的应用也是存在的，但是最常见的用例都是这里描述的类型。最后，拥有很多数据并不意味着你都需要他们。最大的问题在于底层学习的复杂性。如果这个问题能被一个简单的模型解决，你就不需要用这么多的数据来检验模型，也许一个随机的数据子集就可以解决问题了。像我上面说的，一个好的特征表现能帮助你急剧的降低所需要数据点的量。综述总之，知道如何正确的评估，对降低你的模型在面对未知数据时的风险是非常有帮助的。掌握合适的特征提取方法，可能是帮助你取得一个好的结果的最佳方法，最后，并没有那么多大数据，通过分布式计算可以降低训练时间。关于这个内容，我不是很擅长，就不班门弄斧了，给你分享一篇以前看过的相关的文章。什么样的处理才算是正确的处理呢？为了目的不择手段？只要得到好的预测性能就万事大吉？事实确实如此，但是这么做的关键在于，你能确保未知数据也能有个不错的表现。就像我经常说的那样，你很容易就会受到它的蒙蔽，在分析训练结果的时候，轻易地就相信了你选择的方法。以下三点很重要：1.模型评价是关键数据分析/机器学习/数据科学（或任何你能想到的领域）的主要目标，就是建立一个系统，要求它在预测未知数据上有良好的表现。区分监督学习（像分类）和无监督学习（如聚合）其实没有太大的意义，因为无论如何你总会找到办法来构建和设计你的数据集。方法行不行最后还是得看它在未知数据上的表现，你得保证它能得出同你过去的训练集一样的结果。初学者最常犯一个错误就是看到已知数据的表现，就想当然的认为未知数据也会一样。通常你会发现，现实是很骨感的。这里我们就只说监督学习，任务就是根据你的输入预测输出，例如把电子邮件分成垃圾邮件和非垃圾邮件。如果你只考虑训练数据，通过让机器记住一切，很轻松的就能得到完美的预测结果（除非这些数据自相矛盾）。这并不是什么新鲜事儿，人类自己就是这样的。还记得你学外语背单词的苦逼时光么，你必须检查单词字母的顺序，因为你的大脑需要按正确的顺序记住他们。机器在存储和检索大量数据上的优势是人类拍马不及的。但这也带来了过拟合和泛化能力差的问题。所以，一个好的评价方法是模拟未知数据的影响来分割数据，一部分用来训练，一部分用来检测效果。通常，用较大的训练集建模，然后用小的那部分进行预测，经过多次迭代来得到一个较稳定的模型。这个过程就是我们常说的交叉验证。为了模拟未知数据的表现，把数据集分为两个部分，一部分用于训练，一部分用于预测。就算我们这么做了，还是很有可能出问题，特别是在数据非平稳的时候，数据的潜在分布会随着时间变来变去。利用真实数据预测时经常会碰到这种情况，同样是销售数据，六月和七月的就可能差别巨大。还有数据点间的相关性，如果你知道了一个数据点那么你肯定对另一个数据点也有了一些了解。好比股票价格，他们通常不会在两天之间任意的大幅波动，因此如果你胡乱的拆分训练/预测数据，就会破坏这种相关性。每当出现这种情况，你得到的结果就会过于乐观，而你的模型似乎不打算在现实应用中也这么给你面子。最糟糕的情况就是，你千辛万苦终于说服人们认可你的方法，结果下水一试，它当掉了……所以学习如何正确的进行模型评价是关键！2.特征提取是天学习一种新的算法感觉总是很棒，但现实是，最复杂的算法执行起来和那些老办法几乎没什么两样，真正的区别在于原始数据的特征学习。现在的模型功能看起来非常强大，随随便便就能处理成千上万的特征和数据点，其 实本质上并没聪明到哪里。特别是线性模型（像logistic回归或线性支持向量机），就是个傻乎乎的计算器。这些模型确实很擅长在数据充足的情况下识别信息的特征，但是如果信息不充足，或者不能按线性组合的特征来表示，那基本就没什么可玩了。同样这些模型也不能通过“洞察”自行简化数据。换句话说，你可以通过寻找合适的特征，来大量简化数据。坦白来讲，如果你能为想做预测的功能简化掉所有特征，那还有什么需要学习的呢？！这就是多么强大的特征提取啊！这意味着两件事情：首先，你应该确保你确实掌握了这些几乎相同的方法中的一种，并且始终不抛弃它。你真的不需要同时掌握逻辑回归和线性支持向量机，你只要选择一个就够了。这些方法几乎都是相似的，关键的不同就在于底层模型。深度学习还有些特别的东西，但线性模型在表现能力上几乎都是相同的。虽然，训练时间、解决方案的稀疏度等可能会有些不同，但在大多数情况下你会得到相同的预测性能。其次，你应该了解所有的特征工程。这是一门艺术，不幸的是，几乎所有的教科书都没有涵盖这一点，因为关于它的理论太少了。它的常规化就像我们的雾霾一样，还有很长的路要走。有时，特征需要取对数。每当降低一定的自由度，就是摆脱那些与预测任务不相关的数据，可以显著降低你所需的训练集数量。有些情况下这种类型的转化会不可思议的简单。例如，如果你正在做手写字体识别，你就会发现有没有一个识别度高的颜色并不重要，你只要有一个背景和前景就OK了。我知道，教科书往往将算法模型描述的异常强大，好像只要你把数据扔给模型，他们就会把一些都做了。从理论和无限的数据源上看它可能是对的。但很遗憾，我们的时间和数据都是有限的，所以寻找包含信息大的特征是绝对有必要的。3.最耗神的是模型选择，而不是数据集的大小在大数据时代，很多你不想被人知道的事情都被你的主内存以数据集的方式完美的记录下来。你的模型可能不需要花太多时间就能跑完这些数据，但是却要花费非常多的时间从原始数据中提取特征，利用交叉验证的方法来比较不同学习模型的渠道和参数。为了选择合适的模型，你需要大量的组合参数，再利用备份数据来评估它的表现。问题来了，组合参数的爆发式增长。如果你只有两个参数，可能只需要花费1分钟就能完成训练，并且得到性能的评估结果（用合适的评估像我上面说的那样）。但如果每个参数有5个候选值，那就需要执行5倍的交叉验证（把数据集分成5份，每个测试都跑5遍，在每一次迭代中用不同的数据测试），这意味着你需要把上面的步骤重复125次去找到一个好的模型，你要等待的就不是1分钟，而是两小时。好消息是，在多参数的情况下你可以并行操作，因为每个部分都是独立运行的。这 种对每个独立数据集进行相同操作（分割，提取，转换等）的过程，被称为“密集并行”（没错，这是一个技术术语）。这里的坏消息大多针对大数据，因为这些都意味着很少需要复杂模型的可扩展实现。在大多数情况下，仅仅通过对内存中的数据执行相同的非分布式算法，再把这种方法并行化就足够了。当然，像用于TB级日志数据的广告优化和面向百万用户推荐的 learning global models这样的应用也是存在的，但是最常见的用例都是这里描述的类型。最后，拥有很多数据并不意味着你都需要他们。最大的问题在于底层学习的复杂性。如果这个问题能被一个简单的模型解决，你就不需要用这么多的数据来检验模型，也许一个随机的数据子集就可以解决问题了。像我上面说的，一个好的特征表现能帮助你急剧的降低所需要数据点的量。综述总之，知道如何正确的评估，对降低你的模型在面对未知数据时的风险是非常有帮助的。掌握合适的特征提取方法，可能是帮助你取得一个好的结果的最佳方法，最后，并没有那么多大数据，通过分布式计算可以降低训练时间。
东北大学（中国）
天气也很好经验没有，给你分享点教训吧，希望你做数据建模的时候能够多注意下：1、没有明确的行动计划当涉及到的分析，如数据仓库或Elasticube建模数据资源，至关重要的是要规划出它的目标是什么。有几个原因，但主要的主题是，你不能有效地利用您的分析资源，如果你没有为他们的目标。设计一个数据模型，将允许企业用户进行调查，如网络流量和选择，如为了分析产品销售模型，网络流量和选择的价格将远远不同。最好的做法是为每个计划运行分析领域进行规划，设计，并分配资源。这应该在商业智能（BI）项目规划阶段和全面的需求获取过程中完成。当谈到实施更改分析目标时，就会发现在性能，安全性和可行性的明显改善。这一步的规划将使你识别分析模型的总体目标，并确保正确的数据，包括每个资源。　2、没有充分使用代理键当分析来自多个来源的数据时，确保数据具有唯一标识符的一种流行的策略是提供代理键。然而，这并不总是必要的，或选择使用替代密钥是一种良好的做法。很多时候，数据有自然键（数据是一个唯一的值），而不用替代。这些值，如客户的ID，社会安全号码，或已经在使用的交易数据作为主密钥的复合键，是稳定的，足以保留所有的基本密钥需要的特性。在这里，有几点要牢记：代理键不应该与数据有关系。也就是说，它不应该受业务规则的限制。这些规则可以随着时间的推移而改变，并呈现以前的唯一的值。代理键不应该的数据的关系。也就是说，它不应该受业务规则。这些规则可以随时间改变和呈现先前唯一值非唯一。3、不当的命名标准如果命名标准不当，可能会影响与任何数据相关的活动。这是规划分析资源的数据模型的一个重要步骤。跳过这一步可能会导致很多不必要的麻烦和挫折。来自多个源的汇集数据时，这是特别真实。数据的主要基础是一致的。这应该扩展到所提供的表、列、约束、措施等的名称，以遵循一个标准的命名约定，其好处变得非常迅速。如果你试图创建分析的查询，但你的表和措施在他们的名字后面没有任何逻辑，这将很难遵循。4、使用传统工具时常见的错误采用传统的BI工具或RAM密集型内存系统工作时，以下的错误代价可能是极其昂贵的，SiSense用户保证快速高效的芯片数据引擎不再是一个问题。5、错误的粒度级别在分析中，粒度是指可以让我们看到的数据细节的水平。例如，以时间和销售规模为例，在产品推出的网上业务。粒度是多么小的一个时间框架，我们可以看一下。我们可以看看每小时，每分钟，甚至每秒的交易数量吗？如果我们有数据，看看每一秒发生多少交易，每秒的交易，这将是粒度。如果我们所拥有的数据是每小时为单位，那么我们的粒度将是每小时的交易。这不仅适用于时间维度。这一点很重要，要记住，不仅在规划分析和数据模型，但是当你认为哪些数据值得捕获和储存。毕竟，如果你实际上并没有拥有它，那就不能分析数据。6、维度层次结构维层次结构可以威胁任何分析。有时，没有明确的方法来确定一个特定的维度是否是一个层次结构的一部分。其他时间的业务目标的分析错的关系。这是需要进一步调查的时候。如果层次结构还不清楚，需要花时间去接触业务人员，可以清理数据，以及是如何使用的。如果不采取正确的层次结构，分析可能会受到严重阻碍。数据模型不正确维度的层次结构，还需要过于复杂的查询来获得所需要的分析信息，创建属性关系不一致，甚至防止一些分析被完全执行。在你的分析过程需要移动之前，最好是规划出你的数据模型和正确的层次结构。7、忽略小数据源　不可避免的是，关键的业务数据存储在各种各样的地方。数据存储在电子表格、数据库、笔记本电脑、移动设备、备忘录、收据等，也许相当大的一部分可遇不可求，对于从所有的这些“信息孤岛”的数据采集分析。一个大的错误是基于一个不完整的数据集，忽略这些较小的数据源得出结论。　经验没有，给你分享点教训吧，希望你做数据建模的时候能够多注意下：1、没有明确的行动计划当涉及到的分析，如数据仓库或Elasticube建模数据资源，至关重要的是要规划出它的目标是什么。有几个原因，但主要的主题是，你不能有效地利用您的分析资源，如果你没有为他们的目标。设计一个数据模型，将允许企业用户进行调查，如网络流量和选择，如为了分析产品销售模型，网络流量和选择的价格将远远不同。最好的做法是为每个计划运行分析领域进行规划，设计，并分配资源。这应该在商业智能（BI）项目规划阶段和全面的需求获取过程中完成。当谈到实施更改分析目标时，就会发现在性能，安全性和可行性的明显改善。这一步的规划将使你识别分析模型的总体目标，并确保正确的数据，包括每个资源。　2、没有充分使用代理键当分析来自多个来源的数据时，确保数据具有唯一标识符的一种流行的策略是提供代理键。然而，这并不总是必要的，或选择使用替代密钥是一种良好的做法。很多时候，数据有自然键（数据是一个唯一的值），而不用替代。这些值，如客户的ID，社会安全号码，或已经在使用的交易数据作为主密钥的复合键，是稳定的，足以保留所有的基本密钥需要的特性。在这里，有几点要牢记：代理键不应该与数据有关系。也就是说，它不应该受业务规则的限制。这些规则可以随着时间的推移而改变，并呈现以前的唯一的值。代理键不应该的数据的关系。也就是说，它不应该受业务规则。这些规则可以随时间改变和呈现先前唯一值非唯一。3、不当的命名标准如果命名标准不当，可能会影响与任何数据相关的活动。这是规划分析资源的数据模型的一个重要步骤。跳过这一步可能会导致很多不必要的麻烦和挫折。来自多个源的汇集数据时，这是特别真实。数据的主要基础是一致的。这应该扩展到所提供的表、列、约束、措施等的名称，以遵循一个标准的命名约定，其好处变得非常迅速。如果你试图创建分析的查询，但你的表和措施在他们的名字后面没有任何逻辑，这将很难遵循。4、使用传统工具时常见的错误采用传统的BI工具或RAM密集型内存系统工作时，以下的错误代价可能是极其昂贵的，SiSense用户保证快速高效的芯片数据引擎不再是一个问题。5、错误的粒度级别在分析中，粒度是指可以让我们看到的数据细节的水平。例如，以时间和销售规模为例，在产品推出的网上业务。粒度是多么小的一个时间框架，我们可以看一下。我们可以看看每小时，每分钟，甚至每秒的交易数量吗？如果我们有数据，看看每一秒发生多少交易，每秒的交易，这将是粒度。如果我们所拥有的数据是每小时为单位，那么我们的粒度将是每小时的交易。这不仅适用于时间维度。这一点很重要，要记住，不仅在规划分析和数据模型，但是当你认为哪些数据值得捕获和储存。毕竟，如果你实际上并没有拥有它，那就不能分析数据。6、维度层次结构维层次结构可以威胁任何分析。有时，没有明确的方法来确定一个特定的维度是否是一个层次结构的一部分。其他时间的业务目标的分析错的关系。这是需要进一步调查的时候。如果层次结构还不清楚，需要花时间去接触业务人员，可以清理数据，以及是如何使用的。如果不采取正确的层次结构，分析可能会受到严重阻碍。数据模型不正确维度的层次结构，还需要过于复杂的查询来获得所需要的分析信息，创建属性关系不一致，甚至防止一些分析被完全执行。在你的分析过程需要移动之前，最好是规划出你的数据模型和正确的层次结构。7、忽略小数据源　不可避免的是，关键的业务数据存储在各种各样的地方。数据存储在电子表格、数据库、笔记本电脑、移动设备、备忘录、收据等，也许相当大的一部分可遇不可求，对于从所有的这些“信息孤岛”的数据采集分析。一个大的错误是基于一个不完整的数据集，忽略这些较小的数据源得出结论。　
夜来风雨声，花落到底有多少？就我所知道的，从目前的进行数据建模方法来说，主要分为四类： 第一类是大家最为熟悉的关系数据库的三范式建模，通常我们将三范式建模方法用于建立各种操作型数据库系统。
第二类是Inmon提倡的三范式数据仓库建模，它和操作型数据库系统的三范式建模在侧重点上有些不同。Inmon的数据仓库建模方法分为三层，第一层是实体关系层，也即企业的业务数据模型层，在这一层上和企业的操作型数据库系统建模方法是相同的；第二层是数据项集层，在这一层的建模方法根据数据的产生频率及访问频率等因素与企业的操作型数据库系统的建模方法产生了不同；第三层物理层是第二层的具体实现。
第三类是Kimball提倡的数据仓库的维度建模，我们一般也称之为星型结构建模，有时也加入一些雪花模型在里面。维度建模是一种面向用户需求的、容易理解的、访问效率高的建模方法，也是笔者比较喜欢的一种建模方式。
第四类是更为灵活的一种建模方式，通常用于后台的数据准备区，建模的方式不拘一格，以能满足需要为目的下面我主要针对第四类给大家分享一下我的算上两个小看法吧，只是将自己的一些想法总结出来，不当之处还请大家给予指正。
数据准备区有一个最大的特点，就是不会直接面对用户，所以对数据准备区中的表进行操作的人只有ETL工程师。ETL工程师可以自己来决定表中数据的范围和数据的生命周期。下面举两个例子：
（1）数据范围小的临时表
当需要整合或清洗的数据量过大时，我们可以建立同样结构的临时表，在临时表中只保留我们需要处理的部分数据。这样，不论是更新还是对表中某些项的计算都会效率提高很多。处理好的数据发送入准备加载到数据仓库中的表中，最后一次性加载入数据仓库。
（2）带有冗余字段的临时表
由于数据准备区中的表只有自己使用，所以建立冗余字段可以起到很好的作用而不用承担风险。
举例来说，我认为在项目中曾遇到这样的需求，客户表{客户ID，客户净扣值}，债项表{债项ID，客户ID，债项余额，债项净扣值}，即客户和债项是一对多的关系。其中，客户净扣值和债项余额已知，需要计算债项净扣值。计算的规则是按债项余额的比例分配客户的净扣值。这时，我们可以给两个表增加几个冗余字段，如客户表{客户ID，客户净扣值，客户余额}，债项表{债项ID，客户ID，债项余额，债项净扣值，客户余额，客户净扣值}。这样通过三条SQL就可以直接完成整个计算过程。将债项余额汇总到客户余额，将客户余额和客户净扣值冗余到债项表中，在债项表中通过（债项余额×客户净扣值/客户余额）公式即可直接计算处债项净扣值。
另外还有很多大家可以发挥的建表方式，如不需要主键的临时表等等。总结来说，正因为数据准备区是不对用户提供接口的，所以我们一定要利用好这一点，以给我们的数据处理工作带来最大的便利为目的来进行数据准备区的表设计。就我所知道的，从目前的进行数据建模方法来说，主要分为四类： 第一类是大家最为熟悉的关系数据库的三范式建模，通常我们将三范式建模方法用于建立各种操作型数据库系统。
第二类是Inmon提倡的三范式数据仓库建模，它和操作型数据库系统的三范式建模在侧重点上有些不同。Inmon的数据仓库建模方法分为三层，第一层是实体关系层，也即企业的业务数据模型层，在这一层上和企业的操作型数据库系统建模方法是相同的；第二层是数据项集层，在这一层的建模方法根据数据的产生频率及访问频率等因素与企业的操作型数据库系统的建模方法产生了不同；第三层物理层是第二层的具体实现。
第三类是Kimball提倡的数据仓库的维度建模，我们一般也称之为星型结构建模，有时也加入一些雪花模型在里面。维度建模是一种面向用户需求的、容易理解的、访问效率高的建模方法，也是笔者比较喜欢的一种建模方式。
第四类是更为灵活的一种建模方式，通常用于后台的数据准备区，建模的方式不拘一格，以能满足需要为目的下面我主要针对第四类给大家分享一下我的算上两个小看法吧，只是将自己的一些想法总结出来，不当之处还请大家给予指正。
数据准备区有一个最大的特点，就是不会直接面对用户，所以对数据准备区中的表进行操作的人只有ETL工程师。ETL工程师可以自己来决定表中数据的范围和数据的生命周期。下面举两个例子：
（1）数据范围小的临时表
当需要整合或清洗的数据量过大时，我们可以建立同样结构的临时表，在临时表中只保留我们需要处理的部分数据。这样，不论是更新还是对表中某些项的计算都会效率提高很多。处理好的数据发送入准备加载到数据仓库中的表中，最后一次性加载入数据仓库。
（2）带有冗余字段的临时表
由于数据准备区中的表只有自己使用，所以建立冗余字段可以起到很好的作用而不用承担风险。
举例来说，我认为在项目中曾遇到这样的需求，客户表{客户ID，客户净扣值}，债项表{债项ID，客户ID，债项余额，债项净扣值}，即客户和债项是一对多的关系。其中，客户净扣值和债项余额已知，需要计算债项净扣值。计算的规则是按债项余额的比例分配客户的净扣值。这时，我们可以给两个表增加几个冗余字段，如客户表{客户ID，客户净扣值，客户余额}，债项表{债项ID，客户ID，债项余额，债项净扣值，客户余额，客户净扣值}。这样通过三条SQL就可以直接完成整个计算过程。将债项余额汇总到客户余额，将客户余额和客户净扣值冗余到债项表中，在债项表中通过（债项余额×客户净扣值/客户余额）公式即可直接计算处债项净扣值。
另外还有很多大家可以发挥的建表方式，如不需要主键的临时表等等。总结来说，正因为数据准备区是不对用户提供接口的，所以我们一定要利用好这一点，以给我们的数据处理工作带来最大的便利为目的来进行数据准备区的表设计。
山东财经大学
I am i！& & & & 我以一家酒店的数据，来为你解答一下如何对大数据进行建模吧，有点多，主要是进行建模的几个步骤，但我相信如果你能细心的读完，会对你帮助很大的：
一、建立酒店大数据模型分析体系与指标　　 目前，国内的酒店大都没有成熟的大数据模型可用。我们可以自行探索建立起来。这里要引入一个战略管理工具——平衡计分卡。这是源自哈佛大学教授卡普兰与诺朗顿研究院的执行长诺顿于二十世纪九十年代所从事的一种绩效评价体系研究。经过近20年的发展，平衡计分卡已经发展为集团战略管理的工具，在集团战略规划与执行管理方面发挥着非常重要的作用。　　 平衡计分卡需要设定四个维度的指标：财务、客户、内部运营、学习与成长。结合酒店经营管理的实际，我们不妨建立这样的指标：第一，财务指标，酒店GOP;第二，客户指标：客户满意率、老客户留存率、新客户拓展率、网络好评率等;第三，内部运营指标，每家酒店都可以根据自身实际设定各个运营部门的指标，比如房务部可以有RevPAR、餐饮部可以有餐饮毛利率、菜品出新率，工程部可以有能耗比率等;第四，学习与成长指标，如员工满意率、员工离职率、员工技能提升率等。所有的指标确定以后，整个大数据模型分析的体系框架就出来了。二、采集指标数据，进行酒店大数据模型测试　　 这个步骤需要酒店用一到两年的时间进行大规模的指标数据采集，然后运用一定的数据分析软件进行指标数据间关系的测算。比如，客户满意率数据与酒店GOP数据有何关系，是否符合逻辑，当客户满意率上升一个百分点时，酒店GOP上升多少百分点;当客户满意率下降一个百分点时，酒店GOP又如何变化?　　
具体操作中，需要关注两个问题：第一，酒店的信息技术平台能否给予强有力的支撑?如果不能，首先要做的是提升酒店的信息技术平台，使之具备大规模的数据采集能力和分析能力。第二，特殊因素影响。比如酒店经营淡旺季的行业特征因素对数据的影响，以及特殊事件造成的数据变动异常。这些在做数据分析时，都是属于要剔除的非正常影响因素。
三、构建酒店大数据原生模型　　
我们积累了大量经过测试且符合逻辑的数据后，就可以用来进行建模了。构建酒店大数据原生模型，需要用到线性回归分析、方差分析、主成份分析、典型相关分析和聚类分析等方法，从而对应地建立起线性回归模型等。比如，酒店GOP数据与客户满意率数据之间如果存在线性回归关系，就可构建一个酒店GOP——客户满意率线性回归模型。　　 这里我们必须明确六种关系：即财务指标与客户指标的关系、财务指标与内部运营指标的关系、财务指标与学习和成长指标的关系、客户指标与内部运营指标的关系、客户指标与学习和成长指标的关系、内部运营指标与学习和成长指标的关系。每种关系都可构建一种关系模型。就是说，六种不同的关系模型共同构成了酒店大数据原生模型。我们知道，使用酒店大数据原生模型的最终目的就是服务于酒店的经营管理决策。有了这些模型，我们可以预测未来不同时间段的经营情况，以便采取措施对经营管理施加有利的影响。四、再验证、再完善，形成稳定模型　　
原生模型的适用性是有待检验的。酒店需要再用两到三年的时间对原生模型进行再验证、再完善。如何实施呢?我们假定以酒店GOP——客户满意率线性回归模型为例。首先，采集一个季度的客户满意率数据，然后放入模型去计算酒店GOP的季度理想值，再将酒店GOP的季度理想值与酒店GOP的季度实际值进行对比，以验证该模型的准确度。如果准确度不高，就要分析原因，并对模型做进一步完善。如此连续做几个季度的测算、分析、调整、完善，即可形成一个比较可靠、有适用性的稳定模型。& & & & 我以一家酒店的数据，来为你解答一下如何对大数据进行建模吧，有点多，主要是进行建模的几个步骤，但我相信如果你能细心的读完，会对你帮助很大的：
一、建立酒店大数据模型分析体系与指标　　 目前，国内的酒店大都没有成熟的大数据模型可用。我们可以自行探索建立起来。这里要引入一个战略管理工具——平衡计分卡。这是源自哈佛大学教授卡普兰与诺朗顿研究院的执行长诺顿于二十世纪九十年代所从事的一种绩效评价体系研究。经过近20年的发展，平衡计分卡已经发展为集团战略管理的工具，在集团战略规划与执行管理方面发挥着非常重要的作用。　　 平衡计分卡需要设定四个维度的指标：财务、客户、内部运营、学习与成长。结合酒店经营管理的实际，我们不妨建立这样的指标：第一，财务指标，酒店GOP;第二，客户指标：客户满意率、老客户留存率、新客户拓展率、网络好评率等;第三，内部运营指标，每家酒店都可以根据自身实际设定各个运营部门的指标，比如房务部可以有RevPAR、餐饮部可以有餐饮毛利率、菜品出新率，工程部可以有能耗比率等;第四，学习与成长指标，如员工满意率、员工离职率、员工技能提升率等。所有的指标确定以后，整个大数据模型分析的体系框架就出来了。二、采集指标数据，进行酒店大数据模型测试　　 这个步骤需要酒店用一到两年的时间进行大规模的指标数据采集，然后运用一定的数据分析软件进行指标数据间关系的测算。比如，客户满意率数据与酒店GOP数据有何关系，是否符合逻辑，当客户满意率上升一个百分点时，酒店GOP上升多少百分点;当客户满意率下降一个百分点时，酒店GOP又如何变化?　　
具体操作中，需要关注两个问题：第一，酒店的信息技术平台能否给予强有力的支撑?如果不能，首先要做的是提升酒店的信息技术平台，使之具备大规模的数据采集能力和分析能力。第二，特殊因素影响。比如酒店经营淡旺季的行业特征因素对数据的影响，以及特殊事件造成的数据变动异常。这些在做数据分析时，都是属于要剔除的非正常影响因素。
三、构建酒店大数据原生模型　　
我们积累了大量经过测试且符合逻辑的数据后，就可以用来进行建模了。构建酒店大数据原生模型，需要用到线性回归分析、方差分析、主成份分析、典型相关分析和聚类分析等方法，从而对应地建立起线性回归模型等。比如，酒店GOP数据与客户满意率数据之间如果存在线性回归关系，就可构建一个酒店GOP——客户满意率线性回归模型。　　 这里我们必须明确六种关系：即财务指标与客户指标的关系、财务指标与内部运营指标的关系、财务指标与学习和成长指标的关系、客户指标与内部运营指标的关系、客户指标与学习和成长指标的关系、内部运营指标与学习和成长指标的关系。每种关系都可构建一种关系模型。就是说，六种不同的关系模型共同构成了酒店大数据原生模型。我们知道，使用酒店大数据原生模型的最终目的就是服务于酒店的经营管理决策。有了这些模型，我们可以预测未来不同时间段的经营情况，以便采取措施对经营管理施加有利的影响。四、再验证、再完善，形成稳定模型　　
原生模型的适用性是有待检验的。酒店需要再用两到三年的时间对原生模型进行再验证、再完善。如何实施呢?我们假定以酒店GOP——客户满意率线性回归模型为例。首先，采集一个季度的客户满意率数据，然后放入模型去计算酒店GOP的季度理想值，再将酒店GOP的季度理想值与酒店GOP的季度实际值进行对比，以验证该模型的准确度。如果准确度不高，就要分析原因，并对模型做进一步完善。如此连续做几个季度的测算、分析、调整、完善，即可形成一个比较可靠、有适用性的稳定模型。
中国海洋大学
停不了的乐事首先先给大家介绍下，数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式，用图形化的形式去描述业务规则的过程，从而表示现实世界中事务的相互关系的一种映射。数据建模主要包括概念模型设计、逻辑模型设计和物理模型设计。建模的流程图如下：希望能对你有帮助！首先先给大家介绍下，数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式，用图形化的形式去描述业务规则的过程，从而表示现实世界中事务的相互关系的一种映射。数据建模主要包括概念模型设计、逻辑模型设计和物理模型设计。建模的流程图如下：希望能对你有帮助！
西北大学（中国）
做自己！对各位大神膜拜中对各位大神膜拜中
相关标签：
关注我们咨询服务合作法律法规京ICP备号
下载申请方APP
即刻拥有你的学业规划助手