Hive 在EMR中为Presto设置配置单元配置属性

我正在尝试更新/etc/presto/conf/catalog/hive.properties中的配置单元连接器属性。我补充说：

hive.s3.max-client-retries=50
hive.s3.max-error-retries=50
hive.s3.max-connections=500
hive.s3.connect-timeout=5m
hive.s3.socket-timeout=5m

但由于某些原因，这些都不被接受。presto服务器重新启动失败，出现以下错误：

2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   UNUSED PROPERTIES
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.connect-timeout
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.max-client-retries
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.max-connections
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.max-error-retries
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   hive.s3.socket-timeout
2018-04-16T19:34:26.369Z    WARN    main    Bootstrap   
2018-04-16T19:34:26.587Z    ERROR   main    com.facebook.presto.server.PrestoServer Unable to create injector, see the following errors:

1) Configuration property 'hive.s3.connect-timeout' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

2) Configuration property 'hive.s3.max-client-retries' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

3) Configuration property 'hive.s3.max-connections' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

4) Configuration property 'hive.s3.max-error-retries' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

5) Configuration property 'hive.s3.socket-timeout' was not used
  at io.airlift.bootstrap.Bootstrap.lambda$initialize$2(Bootstrap.java:234)

5 errors

---

当hive.s3-file-system-type设置为PRESTO时，这些属性适用。例如，在EMRFS中，这些配置属性不适用，设置它们会导致您观察到的错误。

当hive.s3-file-system-type设置为PRESTO时，这些属性适用。如EMRFS，这些配置属性不适用，设置它们会导致您观察到的错误。

正如Piotr提到的，EMR将从EMR-5.12.0开始的默认文件系统实现从PrestoS3FileSystem更改为EMRFS。PrestoS3FileSystem属性将不可用，但您可以像配置任何其他应用程序一样配置EmrFS。有关更多信息，请参阅上的“EMRFS和PRESTOS3文件系统配置”

正如Piotr所提到的，从EMR-5.12.0开始，EMR将默认的文件系统实现从PrestoS3FileSystem更改为EmrFS。PrestoS3FileSystem属性将不可用，但您可以像配置任何其他应用程序一样配置EmrFS。有关更多信息，请参阅上的“EMRFS和PRESTOS3文件系统配置”

hive.s3-file-system-type的值是多少？这些属性在文件系统类型为PRESTO时适用。@PiotrFindeisen您的注释看起来像答案。我已将注释转换为答案。hive.s3-file-system-type的值是多少？这些属性在文件系统类型为PRESTO时适用。@PiotrFindeisen您的评论看起来像是答案。我已将我的评论转换为答案。感谢您添加此内容！谢谢你添加这个！谢谢皮奥特。Presto FS和EMRFS之间是否存在性能差异？我想知道是应该在EMRFS中配置这些属性还是切换到PrestoFS@nish有关性能注意事项，请参阅使用EMRFS的EMR上的Presto和不使用EMRFS的EC2上的Presto的基准。一些最大的差异可以归因于CBO，但我们并不知道CBO在哪些查询中有帮助，在哪些查询中没有帮助。对于基准测试，我们从默认设置调整了EMR，因为默认设置不能产生最大性能。免责声明：我来自星爆。谢谢Piotr。Presto FS和EMRFS之间是否存在性能差异？我想知道是应该在EMRFS中配置这些属性还是切换到PrestoFS@nish有关性能注意事项，请参阅使用EMRFS的EMR上的Presto和不使用EMRFS的EC2上的Presto的基准。一些最大的差异可以归因于CBO，但我们并不知道CBO在哪些查询中有帮助，在哪些查询中没有帮助。对于基准测试，我们从默认设置调整了EMR，因为默认设置不能产生最大性能。免责声明：我来自星爆。