use pyhive happen Broken pipe error

python hive summary_2018/12

1、起因

• 使用pyhive连接hive查询数据经常跑一段时间发生Broken pipe错误。

2、探究

• Broken pipe：网上查询该错误的原因是因为读写数据时，一方断开了连接导致的。
• 可能性

1、由于测试在线上经常出现问题、而在线下运行没有问题，hive走的代理，考虑代理不稳定的情况，但发现其它服务运行正常，而线上跑经常只有第一次能成功。
2、综合上述，考虑hive的连接问题，pyhive并没有控制连接timeout的相关参数，在hive服务器配置参数中有发现一个`hive.server2.idle.session.timeout`参数控制多少s不访问会断开连接。因此修改策略，每次连接后断开，使用时再连接，修复BUG。(一天使用一次连接)

3、参考

• How to configue session timeout in Hive
• pyhive