最佳实践 | 在 EMR Serverless Spark 中实现 StarRocks 读写操作

• 已创建Serverless Spark工作空间，详情请参见 创建工作空间 。 (链接：https://x.sm.cn/AN7vPD2)
• 已创建EMR Serverless StarRocks实例，详情请 参见创建实例 。 (链接：https://x.sm.cn/CAbeJiu)

EMR Serverless Spark引擎的版本要求为esr-2.5.0、esr-3.1.0、esr-4.1.0及以上版本。

步骤一：获取 Spark Connector JAR 并上传至OSS

说明： Connector JAR 包的命名格式为 starrocks-spark-connec tor-${spark_version}_${scala_version}-${connector_version}.jar 。例如，您使用的引擎版本为 esr-4.1.0 (Spark 3.5.2, Scala 2.12)，想使用 1.1.2 版本的 Connector，则可以选择 starrocks-spark-connector-3.5_2.12-1.1.2.jar 。

步骤二：添加网络连接

• 在 EMR Serverless Spark 页面，进入目标Spark工作空间的 网络连接 页面 ， 单击 新增网络连接 。 （链接：https://x.sm.cn/FLs7Nq）
• 在 新增网络连接 对话框中，输入 连接名称 ，并选择之前获取到的StarRocks实例的专有网络和交换机信息，然后单击 确定 。

步骤三：在 StarRocks 中创建库表

2. 在 SQL Editor 的 查询列表 页面，单击 文件 或者右侧区域的 图标，然后单击 确认 以新增文件。

CREATE DATABASE `testdb`;
CREATE TABLE `testdb`.`score_board`(    `id` int(11) NOT NULL COMMENT "",    `name` varchar(65533) NULL DEFAULT "" COMMENT "",    `score` int(11) NOT NULL DEFAULT "0" COMMENT "")ENGINE=OLAPPRIMARY KEY(`id`)COMMENT "OLAP"DISTRIBUTED BY HASH(`id`);

通过 Serverless Spark 读写 StarRocks

方式一：使用SQL会话、Notebook会话读写StarRocks

▶ SQL 会话

spark.user.defined.jars  oss:///path/connector.jar

CREATE TABLE score_boardUSING starrocksOPTIONS(  "starrocks.table.identifier" = "testdb.score_board",  "starrocks.fe.http.url" = ":",  "starrocks.fe.jdbc.url" = "jdbc:mysql://:",  "starrocks.user" = "",  "starrocks.password" = "");
INSERT INTO `score_board` VALUES (1, "starrocks", 100), (2, "spark", 100);

• ：Serverless StarRocks实例中FE的内网或公网地址。您可以在 实例详情 页面的 FE 详情 区域查看。

• 如果使用内网地址，请确保在同一VPC内。
• 如果使用公网地址，需确保安全组规则允许相应的端口通信，详情请参见 网络访问与安全设置 。 （链接：https://x.sm.cn/ApMsVuF）

• ：Serverless StarRocks实例中FE的HTTP端口（默认为8030）。您可以在 实例详情 页面的 FE 详情 区域查看。
• ：Serverless StarRocks实例中FE的查询端口（默认为9030）。您可以在 实例详情 页面的 FE 详情 区域查看。
• ：Serverless StarRocks实例的用户名。默认提供admin用户，具有管理员权限。您也可以通过 用户管理 页面新增用户来连接。新增用户操作，请参见 管理用户及数据授权。（链接：https://x.sm.cn/AiIP1PP）
• ：用户 对应的密码。

CREATE TEMPORARY VIEW test_viewUSING starrocksOPTIONS(   "starrocks.table.identifier" = "testdb.score_board",   "starrocks.fe.http.url" = ":",   "starrocks.fe.jdbc.url" = "jdbc:mysql://:",   "starrocks.user" = "",   "starrocks.password" = "");
SELECT * FROM test_view;

▶ Notebook 会话

spark.user.defined.jars  oss:///path/connector.jar

# 替换为您的Serverless StarRocks配置。fe_host = ""fe_http_port = ""fe_query_port = ""user = ""password = ""
# 创建表create_table_sql = f"""CREATE TABLE score_boardUSING starrocksOPTIONS (  "starrocks.table.identifier" = "testdb.score_board",  "starrocks.fe.http.url" = "{fe_host}:{fe_http_port}",  "starrocks.fe.jdbc.url" = "jdbc:mysql://{fe_host}:{fe_query_port}",  "starrocks.user" = "{user}",  "starrocks.password" = "{password}")"""
spark.sql(create_table_sql)
#插入数据insert_data_sql = """INSERT INTO `score_board` VALUES (1, "starrocks", 100), (2, "spark", 100)"""
spark.sql(insert_data_sql)

• ：Serverless StarRocks实例中FE的内网或公网地址。您可以在 实例详情 页面的 FE 详情 区域查看。

• 如果使用内网地址，请确保在同一VPC内。
• 如果使用公网地址，需确保安全组规则允许相应的端口通信，详情请参见 网络访问与安全设置 。 （链接：https://x.sm.cn/BMpwm94）

• ：Serverless StarRocks实例中FE的HTTP端口（默认为8030）。您可以在 实例详情 页面的 FE 详情 区域查看。
• ：Serverless StarRocks实例中FE的查询端口（默认为9030）。您可以在 实例详情 页面的 FE 详情 区域查看。
• ：Serverless StarRocks实例的用户名。默认提供admin用户，具有管理员权限。您也可以通过 用户管理 页面新增用户来连接。新增用户操作，请参见 管理用户及数据授权 。 （链接：https://x.sm.cn/AiIP1PP）
• ：用户 对应的密码。

在本文示例中，我们新增一个Python单元格，在其中创建了一个临时视图 test_view ，然后通过该视图查询 score_board 表的数据。拷贝如下代码到新增的Python单元格中，然后单击 图标。

#创建viewcreate_view_sql=f"""CREATE TEMPORARY VIEW test_viewUSING starrocksOPTIONS (  "starrocks.table.identifier" = "testdb.score_board",  "starrocks.fe.http.url" = "{fe_host}:{fe_http_port}",  "starrocks.fe.jdbc.url" = "jdbc:mysql://{fe_host}:{fe_query_port}",  "starrocks.user" = "{user}",  "starrocks.password" = "{password}")"""spark.sql(create_view_sql)  #查询query_sql="SELECT * FROM test_view"result_df = spark.sql(query_sql)result_df.show()

方式二：使用 Spark 批任务读写 StarRocks

b. 在 开发目录 页签下，单击 图标。

spark.user.defined.jars  oss:///path/connector.jar

/ END /

更多推荐