深入了解PROCSQL：数据库设计与数据处理

### 深入了解PROC SQL：数据库设计与数据处理 #### 1. 数据库表设计 在数据库设计中，合理的表结构至关重要。以下是几个常见的数据库表及其列的详细描述： | 表名 | 列名 | 描述 | | ---- | ---- | ---- | | INVENTORY | PRODNUM | 产品唯一编号 | | | MANUNUM | 制造商唯一编号 | | | INVENQTY | 产品库存数量 | | | ORDDATE | 产品最后订购日期 | | | INVENCST | 客户库存成本 | | INVOICE | INVNUM | 发票唯一编号 | | | MANUNUM | 制造商唯一编号 | | | CUSTNUM | 客户编号 | | | PRODNUM | 产品编号 | | | INVQTY | 销售数量 | | | INVPRICE | 单价 | | MANUFACTURERS | MANUNUM | 制造商唯一编号 | | | MANUNAME | 制造商名称 | | | MANUCITY | 制造商所在城市 | | | MANUSTAT | 制造商所在州 | | PRODUCTS | PRODNUM | 产品唯一编号 | | | PRODNAME | 产品名称 | | | MANUNUM | 制造商唯一编号 | | | PRODTYPE | 产品类型 | | | PRODCOST | 产品成本 | | PURCHASES | CUSTNUM | 客户唯一编号 | | | ITEM | 产品名称 | | | UNITS | 客户购买数量 | | | UNITCOST | 产品成本 | 这些表构成了一个关系型数据库，用于存储计算机硬件和软件产品的相关信息。各表之间存在着逻辑关系，通过共同的列可以进行关联查询。例如，INVENTORY表和INVOICE表都有MANUNUM列，这使得我们可以根据制造商编号关联这两个表的数据。 #### 2. 数据库设计的要点 良好的数据库设计具有诸多优点，以下是一些关键要点： - **易于创建和填充表格**：合理的设计能让表格的创建和数据填充更加轻松，提高数据库的开发效率。 - **处理数据集**：SQL设计用于处理数据集，通过表或视图访问数据结构，提供了强大的数据处理能力。 - **减少冗余信息**：最优的数据库设计应尽量减少表之间的冗余信息，避免数据的重复存储，提高数据的一致性和完整性。 - **避免问题**：好的设计可以避免数据冗余、更新异常、处理效率低下、编码复杂、逻辑关系复杂、开发时间长和存储需求过大等问题。 - **权衡设计决策**：在设计过程中，不同阶段的决策可能需要进行权衡，以达到整体的最优效果。 - **第三范式（3NF）**：数据库达到第三范式意味着列依赖于键，且仅依赖于键，确保数据的独立性和一致性。 #### 3. PROC SQL的数据类型 在SAS实现的SQL中，可用的数据类型仅有两种： - **数值型（Numeric）**：提供了丰富的算术、统计和汇总函数。使用NUMERIC或NUM定义的数值列默认长度为8字节，即使指定的长度小于8字节，也会保证最大的精度。以下是创建包含四个数值列的PURCHASES表的示例代码： ```sql PROC SQL; CREATE TABLE PURCHASES (CUSTNUM NUM, PRODNUM NUM, UNITS NUM, UNITCOST NUM(8,2)); QUIT; ``` 运行上述代码后，SAS日志会显示创建了一个包含0行4列的PURCHASES表。 如果需要创建小于8字节的数值列，可以使用DATA步骤的LENGTH语句。以下是一个示例： ```sas DATA PURCHASES; LENGTH CUSTNUM 4. PRODNUM 3. UNITS 3. UNITCOST 4.; LABEL CUSTNUM = ‘Customer Number’ PRODNUM = ‘Product Purchased’ UNITS = ‘# Units Purchased’ UNITCOST = ‘Unit Cost’; FORMAT UNITCOST DOLLAR12.2; RUN; PROC CONTENTS DATA=PURCHASES; RUN; ``` 这段代码创建了一个包含四个用户定义长度数值变量的数据集。 也可以在PROC SQL代码中使用LENGTH=修饰符来指定列的长度： ```sql PROC SQL; CREATE TABLE PURCHASES (CUSTNUM NUM LENGTH=4 LABEL=’Customer Number’, PRODNUM NUM LENGTH=3 LABEL=’Product Purchased’, UNITS NUM LENGTH=3 LABEL=’# Units Purchased’, UNITCOST NUM LENGTH=4 LABEL=’Unit Cost’); QUIT; ``` 这样定义的四个数值列长度小于默认的8字节。 - **字符型（Character）**：PROC SQL提供了处理和存储字符数据的工具，使用CHARACTER或CHAR数据类型。该类型允许使用ASCII或EBCDIC字符集，可存储最大32K字符的固定长度字符串。如果未指定长度，默认存储8个字符。SQL程序员可以使用大量的SQL和Base SAS函数来处理字符数据，例如字符串函数、模式匹配、语音匹配等技术。 #### 4. 日期和时间列的定义 数据库应用程序以数值数据类型存储日期和时间信息。SAS日期值表示为从1960年1月1日起的天数，该日期对应的值为0。早于该日期的值为负数，晚于该日期的值为正数，这种表示方式使得日期计算更加方便。 SAS将大量的日期和时间输入输出格式与PROC SQL集成。不同的格式作为输入和输出模板，描述了日期和时间信息的读取和显示方式。数值日期和时间列结合格式后，会自动根据以下规则验证值： - **日期（Date）**：日期格式使PROC SQL和SAS能够确定日期的月、日和年值。月份值范围为1 - 12，日值范围为1 - 31，并根据月份进行额外验证，年值范围为1 - 9999。日期范围从1582年到20000年。例如，输入年份为0001，指定格式和Yearcutoff值为1920时，返回值为2001。 - **时间（Time）**：时间格式使PROC SQL能够确定时间的小时、分钟和秒值。小时值范围为00 - 23，分钟值范围为00 - 59，秒值范围为00 - 59。 - **日期时间（DATETIME）**：日期和时间戳使SQL程序能够确定日期的月、日、年以及时间的小时、分钟和秒。 #### 5. 缺失值和NULL 在处理数据时，缺失值是一个重要的概念。PROC SQL支持以null值表示缺失或未知信息。null值与零值不同，在SAS中，null值被视为与已知值不同的类别。零值是已知的，而null值的数量未知且永远无法确定。 例如，一个接受眼科检查的患者，不能因为检查结果未收到就认为其视力为零，此时应分配一个缺失或null值。再如，一个人在调查中拒绝提供年龄，其年龄应视为null，而不是零。 由于null值未知，任何包含null值的算术计算都会返回null值，这被称为null值的传播。例如，null值与已知值相加，结果为null值。在SAS中，数值数据类型的null值用句点（.）表示。以下是一个示例代码，展示了在已知值情况下的计算： ```sql PROC SQL; SELECT CUSTNUM, PRODNUM, UNITS, UNITCOST, UNITS * UNITCOST AS Total FORMAT=DOLLAR12.2 FROM PURCHASES ORDER BY Total; QUIT; ``` 当UNITS和UNITCOST都有已知值时，它们的乘积会生成一个已知的Total值。 通过以上内容，我们对数据库表设计、数据类型、日期时间处理以及缺失值的处理有了更深入的了解。这些知识对于使用PROC SQL进行数据库操作至关重要，能够帮助我们设计出高效、准确的数据库系统。 ### 深入了解PROC SQL：数据库设计与数据处理 #### 6. SQL关键字、运算符和函数 在PROC SQL中，有许多关键字、运算符和函数可供使用，它们极大地增强了数据处理的能力。以下是一些常见的类型及其作用： ##### 6.1 比较运算符 比较运算符用于比较两个值，常见的比较运算符如下表所示： | 运算符 | 描述 | | ---- | ---- | | = | 等于 | | > | 大于 | | < | 小于 | | >= | 大于等于 | | <= | 小于等于 | | <> 或 != | 不等于 | 例如，使用`=`运算符可以筛选出满足特定条件的数据： ```sql PROC SQL; SELECT * FROM INVENTORY WHERE INVENQTY = 10; QUIT; ``` 上述代码将从INVENTORY表中筛选出库存数量等于10的记录。 ##### 6.2 逻辑运算符 逻辑运算符用于组合多个条件，常见的逻辑运算符有： - **AND**：当所有条件都为真时，结果为真。 - **OR**：只要有一个条件为真，结果为真。 - **NOT**：对条件取反。 示例代码如下： ```sql PROC SQL; SELECT * FROM INVOICE WHERE INVQTY > 5 AND INVPRICE < 100; QUIT; ``` 此代码将从INVOICE表中筛选出销售数量大于5且单价小于100的记录。 ##### 6.3 算术运算符 算术运算符用于执行基本的数学运算，常见的算术运算符有： | 运算符 | 描述 | | ---- | ---- | | + | 加法 | | - | 减法 | | * | 乘法 | | / | 除法 | 例如，计算总销售额： ```sql PROC SQL; SELECT INVNUM, INVQTY * INVPRICE AS TotalSales FROM INVOICE; QUIT; ``` 上述代码将计算INVOICE表中每个发票的总销售额。 ##### 6.4 字符字符串运算符和函数 SQL提供了丰富的字符字符串运算符和函数，用于处理字符数据。例如，`SUBSTR`函数用于截取字符串的一部分： ```sql PROC SQL; SELECT PRODNAME, SUBSTR(PRODNAME, 1, 5) AS ShortName FROM PRODUCTS; QUIT; ``` 此代码将从PRODUCTS表中截取产品名称的前5个字符作为短名称。 #### 7. 汇总数据 在处理数据时，经常需要对数据进行汇总统计。PROC SQL提供了多种汇总函数，如`SUM`、`AVG`、`COUNT`、`MIN`和`MAX`等。以下是一个示例，计算INVOICE表中销售数量的总和、平均值、最小值和最大值： ```sql PROC SQL; SELECT SUM(INVQTY) AS TotalQuantity, AVG(INVQTY) AS AverageQuantity, MIN(INVQTY) AS MinQuantity, MAX(INVQTY) AS MaxQuantity FROM INVOICE; QUIT; ``` 还可以使用`GROUP BY`子句按指定列进行分组汇总。例如，按制造商编号分组计算每个制造商的销售总量： ```sql PROC SQL; SELECT MANUNUM, SUM(INVQTY) AS TotalQuantity FROM INVOICE GROUP BY MANUNUM; QUIT; ``` #### 8. 谓词 谓词用于在`WHERE`子句中指定条件，常见的谓词有： - **BETWEEN**：用于指定一个范围。例如，筛选出单价在50到100之间的记录： ```sql PROC SQL; SELECT * FROM INVOICE WHERE INVPRICE BETWEEN 50 AND 100; QUIT; ``` - **IN**：用于指定多个可能的值。例如，筛选出产品编号为1、2或3的记录： ```sql PROC SQL; SELECT * FROM INVOICE WHERE PRODNUM IN (1, 2, 3); QUIT; ``` - **LIKE**：用于进行模糊匹配。例如，筛选出产品名称以“Computer”开头的记录： ```sql PROC SQL; SELECT * FROM PRODUCTS WHERE PRODNAME LIKE 'Computer%'; QUIT; ``` #### 9. 字典表 字典表包含了数据库的元数据信息，如数据库中的表名、列名、数据类型等。通过查询字典表，可以获取数据库的结构信息。以下是一些常见的操作： ##### 9.1 显示字典表定义 可以使用`PROC SQL`查询字典表的定义，例如： ```sql PROC SQL; DESCRIBE TABLE DICTIONARY.COLUMNS; QUIT; ``` 上述代码将显示DICTIONARY.COLUMNS表的结构信息。 ##### 9.2 访问字典表内容 可以通过查询字典表获取具体的元数据信息。例如，查询所有表的名称： ```sql PROC SQL; SELECT MEMNAME FROM DICTIONARY.TABLES WHERE LIBNAME = 'WORK'; QUIT; ``` 此代码将从WORK库中查询所有表的名称。 #### 10. 总结 综上所述，PROC SQL提供了丰富的功能和工具，用于数据库设计、数据处理和查询。通过合理运用数据类型、运算符、函数、谓词和字典表等，我们可以高效地处理和管理数据库中的数据。以下是整个PROC SQL处理数据的流程： ```mermaid graph TD; A[数据库设计] --> B[创建表]; B --> C[插入数据]; C --> D[数据处理]; D --> E[查询数据]; E --> F[汇总统计]; F --> G[结果输出]; ``` 在实际应用中，我们可以根据具体的需求，灵活组合这些功能，实现复杂的数据处理任务。同时，要注意数据库设计的要点，如减少冗余信息、遵循第三范式等，以确保数据库的高效性和数据的一致性。通过不断学习和实践，我们可以更好地掌握PROC SQL，为数据分析和管理提供有力的支持。