软件水平考试
阅读以下关于数据管理的叙述，在答题纸上回答问题 1 至问题 3。【说明】某软件企业开发了一套新闻社交类软件，提供常见的新闻发布、用户关注、用户推荐、新闻点评、新闻推荐、热点新闻等功能，项目采用 MySQL 数据库来存储业务数据。系统上线后，随着用户数量的增加，数据库服务器的压力不断加大。为此，该企业设立了专门的工作组来解决此问题。张工提出对 MySQL 数据库进行扩展，采用读写分离，主从复制的策略，好处是程序改动比较小，可以较快完成，后续也可以扩展到 MySQL 集群，其方案如图4-1 所示。李工认为该系
题目
经过组内多次讨论，该企业最终决定采用刘工提出的方案。问题内容：【问题 1】（8 分）张工方案中采用了读写分离，主从复制策略。其中，读写分离设置物理上不同的主/从服务器，让主服务器负责数据的（a）操作，从服务器负责数据的（b）操作，从而有效减少数据并发操作的（c）,但却帯来了（d）。因此，需要采用主从复制策略保持数据的（e）。MySQL 数据库中，主从复制是通过 binary log 来实现主从服务器的数据同步，MySQL 数据库支持的三种复制类型分别是（f） 、 （g） 、 （h）。请将答案填入（a）～（h）处的空白，完成上述描述。【问题 2】（8 分）李工方案中给出了关系数据库与 NoSQL 数据的比较，如表 4-1 所示，以此来说明该新闻社交类软件更适合采用 NoSQL 数据库。请完成表 4-1 中的（a） ~ （d）处空白。表 4-1 关系数据库与 NoSQL 数据库特征比较
【问题 3】（9 分）刘工提出的方案采用了 Key-Value 数据库+MySQL 数据库的混合方案，是根据数据的读写特点将数据分别部署到不同的数据库中。但是由于部分数据可能同时存在于两个数据库中，因此存在数据同步问题。请用 200 字以内的文字简要说明解决该数据同步问题的三种方法。
相似问题和答案
第1题：
请详细阅读有关数据架构方面的描述，回答问题1至问题3。 【说明】 某软件公司欲开发一个基于Web 2.0的大型社交网络系统。就该系统的数据架构而言，李工决定采用公司熟悉的数据架构，使用通用的商用关系型数据库，系统内部数据采用中央集中方式存储。 该系统投入使用后，初期用户数量少，系统运行平稳。6个月后，用户数出现了爆炸式增长，系统暴露出诸多问题，集中表现在： （1）用户执行读写操作时，响应时间均变得很慢； （2）随着系统功能的扩充，原有数据格式发生变化，又出现新的数据格式，维护困难； （3）数据容量很快超过系统原有的设计上限，数据库扩容困难； （4）软件系统不断出现宕机，整个系统可用性较差。 经过多次会议讨论，公司的王工建议采用NoSQL数据库来替代关系数据库，以解决上述问题。但李工指出NoSQL数据库出现时间不长，在使用上可能存在风险。公司技术人员对NoSQL数据库产品进行了认真测试，最终决定采用NoSQL数据库来替代现有的数据库系统。
【问题1】（11分） 分别解释产生问题（1）~（4）的原因。 【问题2】（8分） 请针对问题（1）~（4），分别指出NoSQL数据库的哪些特点促使公司最终采用了NoSQL数据库。 【问题3】（6分） 请指出该系统采用NoSQL数据库时可能存在的问题。
【问题1】
其原因主要是：
（1）用户响应时间慢。大型社交网络系统要根据用户个性化信息来实时生成动态页面和提供动态信息，所以基本上无法使用动态页面静态化技术，因此数据库并发负载非常高，往往要达到每秒上万次读写请求。关系数据库应付上万次SQL查询还勉强可以，但是应付上万次SQL写数据请求，硬盘I/O就已经无法承受了。特别是涉及到多表连接操作，会导致响应变慢。
（2）数据格式变化。大型社交网络系统随着用户的使用，会不断地增加新的功能，导致原有数据格式发生变化，甚至出现新的数据格式。但关系数据库中采用元组方式组织数据，难以使用新型数据格式，难以维护。
（3）数据容量超过设计上限。对于大型社交网络系统，往往会在很短时间内产生海量数据。关系数据库多采用中央数据存储，使得数据容量受限于前期设计的上限，很难实现数据容量的横向扩展。
（4）系统可用性差：关系数据库采用中央数据存储，容易成为系统的性能瓶颈，单点故障很容易导致系统崩溃，负载过高往往导致系统出现宕机现象。
【问题2】
针对问题（1），NoSQL数据库支持高并发数据访问，性能较高。
针对问题（2），NoSQL数据库的数据存储结构松散，能够灵活支持多种类型的数据格式。
针对问题（3），NoSQL数据库能够支持海量数据的存储，且易于横向扩展。
针对问题（4），NoSQL数据库基于分布式数据存储，不存在单点故障和性能瓶颈，系统可用性高。
【问题3】
该系统采用NoSQL数据库时可能存在的问题有：
（1）NoSQL数据库的现有产品不够成熟，大多数产品处于初创期。
（2）NoSQL数据库并未形成一定的标准，产品种类繁多，缺乏官方支持。
（3）NoSQL数据库不提供对SQL的支持，学习和应用迁移成本较高。
（4）NoSQL数据库支持的特性不够丰富，现有产品提供的功能比较有限。
第2题：
A、腾讯云平台提供的面向互联网应用的数据存储服务
B、适用于面向表结构的场景，适用MySQL的地方都可以使用云数据库
C、整合了备份、扩容、迁移等功能，同时提供新一代数据库工具DMC，用户可以方便的进行数据库的管理
D、可提供数据锁定机制，防止数据被修改和删除，保障数据安全。以极低的价格，为数据存储降低成本
第3题：
A、MySQL企业服务器
B、MySQL社区服务器
C、MySQL嵌入数据库
D、MySQL集群
第4题：
阅读以下关于数据库分析与建模的叙述，在答题纸上回答问题1至问题 3。 【说明】 某电子商务企业随着业务不断发展，销售订单不断增加，每月订单超过了50万笔，急需开发一套新的互联网电子订单系统。同时该电商希望建立相应的数据中心，能够对订单数据进行分析挖掘，以便更好地服务用户。 王工负责订单系统的数据库设计与开发，初步设计的核心订单关系模式为: orders(order_no，customer_no ，order_date，product_no，price，......); 考虑订单数据过多，单一表的设计会对系统性能产生较大影响，仅仅采用索引不足以解决性能问题。因此，需要将订单表拆分，按月存储。 王工采用反规范化设计方法来解决，给出了相应的解决方案。李工负责数据中心的设计与开发。李工认为王工的解决方案存在问题，建议采用数据物理分区技术。在解决性能问题的同时，也为后续的数据迁移、数据挖掘和分析等工作提供支持。
【问题 1】 (8分) 常见的反规范化设计包括增加冗余列、增加派生列、重新组表和表分割。为解决题干所述需求，王工采用的是哪种方法?请用300字以内的文字解释说明该方法，并指出其优缺点。 【问题2】 (8 分） 物理数据分区技术一般分为水平分区和垂直分区，数据库中常见的是水平分区。水平分区分为范围分区、哈希分区、列表分区等。请阅读下表，在(1)~(8) 中填写不同分区方法在数据值、数据管理能力、实施难度与可维护性、数据分布等方面的特点。
【问题 3】(9 分） 根据需求，李工宜选择物理水平分区中的哪种分区方法?请用300字以内的文字分别解释说明该方法的优缺点。
王工采用的是表分割的方式进行反规范化设计。
表分割包括水平分割与垂直分割两种形式：
水平分割：根据一列或多列数据的值把数据行放到两个独立的表中。
垂直分割：把主码和一些列放到一个表，然后把主码和另外的列放到另一个表中。
问题2
（1）连续（2）离散（3）弱（4）强（5）好（6）好（7）不均匀（8）均匀
问题3
李工宜选择范围分区方式。
范围分区优点包括：实现容易、数据管理能力强、提高查询效果、利于维护如备份恢复时间都可缩短、利于做过期过处理。
范围分区缺点包括：数据分布不均匀所以可以与哈希分区组合应用。
第5题：
阅读以下说明，回答问题1至问题4，将解答填入对应栏内。
【说明】
某电子商务网站采用ASP+SQL Server开发的电子商务网站系统，提供商品查询、网上购物车、订单管理、后台商品管理、支付等功能。其后台修改商品页面如下图所示。
网站开发完成后，开发人员将源代码和数据库文件pubs.mdf及pubs_log.ldf提供给公司网络管理人员进行网站发布。此时应采用(1)数据库方式在数据库服务器上生成数据库。
附加 解析：本题考查的是Web数据库的基本知识。
问题1考查的是在SQL数据库服务器上创建数据库的方法。
在SQL数据库服务器上可以使用以下方法建立数据库：
(1)新建数据库。
(2)还原数据库：需要扩展名为bak的备份文件，可以将数据库还原到备份点：
(3)附加数据库：需要扩展名为mdf和ldf的数据库文件，可以将文件中的数据导入SQL数据库服务器。
从本题要求可见，有数据库文件pubs.mdf及pubs_log.ldf,所以应采用附加数据库的方法在数据库服务器上生成数据库。
第6题：
试题四（共 25 分）
阅读以下关于数据集成的叙述，在答题纸上回答问题 1 至问题3。
某互联网销售企业需要建立自己的电子商务平台，将所有产品信息集中在一起，为用户提供全方位的产品信息检索服务。但产品供应商大多数已经建有自己的电子商务平台，且数据独立存储，而且数据格式和数据平台有较大差异，有的供应商甚至没有采用数据库来存储商品信息。为此该企业专门成立专家组来论证其数据集成方案。
李工提出采用集中式集成方式把产品供应商的数据集中在一起，采用数据仓库技术来实现与各家供应商的数据集成。而王工提出采用松耦合的联邦数据库集成方案。专家组经过激烈讨论，认为王工方案更为合理，建议采用王工提出的集成方案。
【问题 1】（10 分）
请结合数据仓库和联邦数据库集成方案各自的特点，简要说明专家组采用王工提出的集成方案的原因。
【问题 2】（7 分）
部分供应商的产品信息没有相应的数据库，而是直接嵌入在 WEB 页面中供用户浏览。数据集成时需要直接从供应商电子商务平台的网页上获取其产品信息。请简要给出此类数据集成的方法和基本步骤。
【问题 3】（8 分）
在方案评审会上，项目组针对李工和王工的方案展开了激烈的讨论。刘工指出两种方案在实施的过程中，都存在数据源之间的语义映射和转换问题，都会带来数据集成的不确定。请简要说明产生不确定的原因。
试题四分析
本题主要考查数据集成中的数据仓库方案和联邦数据库方案的内容。
【问题l】
本问题考查数据仓库和联邦数据库集成方案的基本概念。数据苍库集成是把多种来源的数据集中在一起，建立数据仓库，所有数据都驻留在单个数据库服务器上，配置大型处理器和存储容量。数据仓库主要用于决策支持，在数据处理过程中强调分析。其特点是：①集成的数据；②面向主题；③数据相对稳定；④包含历史信息。但是此种集成方法中需要将数据源的数据转换为数据仓库中的语义，而且需要定期的数据复制和数据更新。数据源往往指的是数据库系统。
联邦数据库集成是把多个数据库系统联合在一起，构成“联邦数据库系统”，数据
库之间通过接口查询，互相通信，数据分布在不同地方的计算机或数据库服务器上，通过网络连接。其特点是：①联邦数据库提供集成的数据格式，对用户提供统一的访问，屏蔽了各个数据库的复杂性和分布情况，简化了开发数据库查询和对数据统一理解的工作。这种分布式的数据集成，更加符合应用系统的实际情况。②异构数据源不仅仅是数据库系统，通过中间件，可以扩展到传感器、文件和应用程序等。
两种方式都需要将数据源中的数据语义转换为统一数据语义，这种转换往往存在不确定性。
【问题2】
本问题考查Web内容提取或Web数据挖掘的相关知识。Web信息系统中的数据往往是非结构化或者半结构化的，但同一个数据源往往有统一的页面模式，但是其数据呈现是嵌入在页面中。因此需要采用Web内容提取（挖掘／文本挖掘）的集成方法来获取对应供应商的产品信息。
其基本的步骤是：
(1)分析页面，确定其页面中的数据模式。制定数据挖掘的特征和提取规则，编写特定的页面分析和数据提取程序。
(2)抓取页面，通过爬虫技术获取对应的网页。将远端的页面下载到本地进行存储，为后续数据提取做准备。
(3)特征提取与处理，获取相应数据，依据的原则是分析页面阶段所形成的特征和提取规则。
(4)数据清洗，根据规则进行判断，抛弃异常数据。
(5)数据转换，根据预先定义好的语义映射关系，将数据转换为统一格式。
Web内容提取的算法程序本身是近似的，因此在获取数据的内容上存在不确定性。
【问题3】
本问题考查在数据集成过程存在的不确定性问题。问题1和问题2中实际已经明确了集成过程中存在不确定性。主要的原因在于数据集成系统依靠模式映射来指明数据 ，源中的数据和中介所用数据之问的语义关系，但映射过程中可能发生不确定性。具体原因有：
(1)数据源与中介模式之间的语义映射可能是近似的。实际统中往往很难有非常精确、完整的语义映射。
(2)用户不熟悉模式或系统的域太宽，不能提供基于表单式的查询接口，需要使用关键字查询，但将关键字查询转换成一组候选的结构化查询时，会带来不确定性。
(3)数据常常是使用信息获取技术从非结构化数据源获取的，而这些获取技术一般只是“大致可用”，所取得的数据可能是不确定的。
因此，在本试题中，无论采用数据仓库或者联邦数据库集成方案，都存在数据源之间的语义映射和转换问题，都会带来数据集成的不确定。
试题四解答要点
【问题1】
数据仓库集成是把多种来源的数据集中在一起，建立数据仓库，所有数据都驻留在
单个数据库服务器上，配置大型处理器和存储容量。数据仓库主要用于决策支持，在数
据处理过程中强调分析。其特点是：
(1)集成的数据。
(2)面向主题。
(3)数据相对稳定。
(4)包含历史信息。
联邦数据库集成是把多个数据库系统联合在一起，构成“联邦数据库系统”，数据库之间通过接口查询，互相通信，数据分布在不同地方的计算机或数据库服务器上，通过网络连接。其特点是：
(1)联邦数据库提供集成的数据格式，对用户提供统一的访问，屏蔽了各个数据库的复杂性和分布情况，简化了开发数据库查询和对数据统一理解的工作。这种分布式的数据集成，更加符合应用系统的实际情况。
(2)异构数据源不仅仅是数据库系统，通过中间件，可以扩展到传感器、文件和应用程序等。
【问题2】
此类数据往往是非结构化或者半结构化的，但同一个数据源往往有统一的页面模式，因此应采用Web内容提取（挖掘／文本挖掘）的集成方法来获取对应供应商的产品信息。
其基本步骤为：
(1)分析页面，确定其页面中的数据模式。
(2)抓取页面，通过爬虫技术获取对应的网页。
(3)特征提取与处理，获取相应数据。
(4)数据清洗，根据规则进行判断，抛弃异常数据。
(5)数据转换，根据预先定义好的语义映射关系，将数据转换为统一格式。
【问题3】
数据集成系统依靠模式映射来指明数据源中的数据和中介所用数据之间的语义关系，但映射过程中可能发生不确定性，其原因有：
(1)数据源与中介模式之间的语义映射可能是近似的。
(2)用户不熟悉模式或系统的域太宽，不能提供基于表单式的查询接口，需要使用关键字查询，但将关键字查询转换成一组候选的结构化查询时，会带来不确定性。
(3)数据常常是使用信息获取技术从非结构化数据源获取的，而这些获取技术一般只是“大致可用”，所取得的数据可能是不确定的。
第7题：
阅读以下关于数据库性能优化方面的叙述，回答问题1至问题4。
某企业核心业务系统运行性能不佳，尤其是针对数据库的操作，响应时间过长。
为此，该企业专门召开了解决该问题的专家研讨会。在会上刘工指出，当前硬件设备的价格比较低廉，只需要对数据库服务器的硬件设备进行升级，同时对数据库管理系统和操作系统中的相应参数进行调整就可以了；王工建议对应用系统中使用的SQL语句进行调优，针对每条SQL语句都建立对应的索引；张工认为该业务系统中存在大量的数据查询操作，更新操作不多，尤其是存在大量的只读查询操作，应该针对这一点进行优化。
该企业采取了专家的部分建议，但优化的结果仍然不尽如人意，通过专门的监控，发现数据库管理系统中建立的索引存在问题。
对上述专家意见和建议进行评价；给出自己的建议，并说明其中包含的内容。
上述各个专家的建议均不完整。 基于数据库的业务系统，一般在进行调优时，需要具体问题具体分析。全面的分析方案应该包括以下三方面内容： (1)对系统中的业务数据进行搜集，判断当前硬件设备是否足够。判断数据库管理系统和操作系统的相应参数设置是否合理。 (2)对应用系统进行分析，对业务系统的类型进行确认，如联机事务处理和数据仓库对数据库的要求差异很大。 (3)对应用系统中的SQL语句、索引等进行分析。 解析：本题涉及信息系统中的数据库调优。目前绝大多数的大、中型信息系统都使用数据库作为数据存储，而信息系统的性能优化是一个综合性的问题，需要综合考虑硬件设备、操作系统、数据库和应用系统，
基于数据库的信息系统，一般在进行调优时，需要具体问题具体分析。全面的分析方案应该包括以下三方面内容：
(1)对系统中的业务数据进行搜集，判断当前硬件设备是否足够。判断数据库管理系统和操作系统的相应参数设置是否合理。例如数据库中SGA中的参数，操作系统中共享内存等参数、数据库中数据与索引物理存储的分离等。
(2)对应用系统进行分析，对业务系统的类型进行确认，如联机事务处理和数据仓库对数据库的要求差异很大。OLTP和OLAP的类型也有很大的差异。
(3)对应用系统中的SQL语句、索引等进行分析。
本题中主要问题涉及的是第三方面的内容，即对应用系统中的SQL语句、索引等进行分析。
SQL语句优化在信息系统调优中所占比例较大。一般来讲，一个信息系统中不同 SQL语句的数目往往在200～400条左右，在优化时，需要对每条SQL语句的性能进行测量，对性能表现不佳的SQL语句进行调整。当前也已经出现了专门的SQL语句优化的工具，可以辅助开发人员。SQL语句优化的常见策略如下：
(1)建立物化视图或尽可能减少多表查询。
(2)以不相干子查询替代相于子查询。
(3)只检索需要的列，无需将表中所有的列全部检索。
(4)用带IN的条件子句等价替换OR子句。
(5)经常提交COMMIT，以尽早释放锁。
一般来讲，针对查询语句，建立适当的索引以提高查询效率。但索引创建的是否合适，最终由数据库优化器来决定，因此在索引创建中也需要慎重考虑和实际测量。如果建立索引不当，数据库管理系统将会不利用已经建立的索引，而采取全表扫描。
索引调整时还需要考虑如下原则：
(1)如果更新操作成为系统瓶颈，因为每次更新操作会重建表的索引，因此需要考虑删除某些索引。
(2)选择适当的索引类型。例如，如果经常使用范围查询，则B树索引比散列索引更加高效。
(3)将有利于大多数据查询和更新的索引设为聚簇索引。
同样，对于不同类型的应用系统(类型划分根据对数据库的操作类型而言，例如 OLTP等)，在数据库操作中，可采用的优化方法也有所不同。对于只读数据，常见的处理方法如下：
(1)数据量小的常量类型数据，可以考虑不存储在数据库中，而是通过程序常量的方式解决。
(2)需要存储在数据库中的数据，可以考虑采用物化视图。
(3)数据存储时可以考虑适当的数据冗余，以减少数据库表之间的连接操作，提高查询效率。
针对数据的特点，采取特定的索引类型。例如位图索引等。
从上述的分析可以看出，基于数据库的信息系统的调优问题是一个比较复杂的问题，涉及到的硬件、操作系统、数据库管理系统和应用系统本身，即使在应用系统本身的调优上，也需要根据应用系统的类型、数据的类型等进行具体的考虑。
第8题：
此题为判断题(对，错)。
第9题：
阅读下列说明，回答问题1至问题3，将解答填入对应栏内。
【说明】
某企业业务信息系统某天突然出现故障，无法处理业务。信息系统维护人员采用重新启动的方法来进行恢复，发现数据库系统无法正常启动。
数据库故障主要分为事务故障、系统故障和介质故障，不同故障的恢复方法也不同。
请解释这3种数据库故障的恢复方法，回答该企业的数据库故障属于何种类型的故障，为什么?
数据库3种故障的恢复方法如下。 . 事务故障：恢复由数据库系统自动完成，不破坏数据库。 . 系统故障：恢复是由数据库系统在重新启动时自动完成，不破坏数据库。 . 介质故障：恢复无法由数据库自动恢复。恢复方法是重装数据库，然后重做已 完成的事务，同时也需要DBA的介入。 故障类型：介质故障。 原因：根据说明中的描述，该故障在维护人员重新启动数据库后，数据库系统没有自行恢复。根据3种故障的恢复方法，可以明确该故障是介质故障。
第10题：
阅读以下关于 Web 系统架构设计的叙述，在答题纸上回答问题 1至问题 3。 【说明】 某公司开发的 B2C 商务平台因业务扩展，导致系统访问量不断增大，现有系统访问速度缓慢，有时甚至出现系统故障瘫痪等现象。面对这一情况，公司召开项目组讨论会议，寻求该商务平台的改进方案。讨论会上，王工提出可以利用镜像站点、CDN内容分发等方式解决并发访问量带来的问题。而李工认为，仅仅依靠上述外网加速技术不能完 全解决系统现有问题，如果访问量持续增加，系统仍存在崩渍的可能。李工提出应同时结合Web内网加速技术优化系统改进方案，如综合应用负载均衡、缓存服务器、Web应用服务器、分布式文件系统、分布式数据库等。经过讨论，公司最终决定采用李工的思路，完成改进系统的设计方案。
【问题 1】 (10分） 针对李工提出的改进方案，从 a ~j 中分别选出各技术的相关描述和对应常见支持软件填入表 5-1 中的(1) ~(10) 处。保存静态文件，减少网络交换量，加速响应请求 可采用软件级和硬件级负载均衡实现分流和后台减压 文件存储系统，快速查找文件 FastDFS HAProxy JBoss Hadoop Distributed File System(HDFS) Apache Tomact Squid MongoDB 【问题 2】(9 分） 请用100字以内的文字解释分布式数据库的概念，并给出提高分布式数据库系统性能的 3 种常见实现技术。 【问题3】 (6 分） 针对 B2C 商务购物平台的数据浏览操作远远高于数据更新操作的特点，指出该系统应采用的分布式数据库实现方式，并分析原因。
（1）（b）
（2）（e）
（3）（a）
（4）（i）
（5）（c）
（6）（7）（d）（g）
（8）（9）（f）（h）
（10）（j）
问题2
分布式数据库是由一组数据组成的，这组数据分布在计算机网络的不同计算机上，网络中的每个节点具有独立处理的能力（称为场地自治），它可以执行局部应用，同时，每个节点也能通过网络通信子系统执行全局应用。
分布式数据库系统性能提升策略：
1. 全局查询树的变换
2. 副本的选择与多副本的更新策略
3. 查询树的分解
4. 半连接与直接连接
问题3
在本题所涉及到的环境中，由于读取数据的需求非常强烈，涉及到的数据量极大，而更新较少，可以在分布式数据库中采用一主多从的机制来分散读取数据的压力。更新数据时，操作主库，从主库再同步到从库，从库只负责读取数据。