Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 如何将arduino传感器的数据实时存储到hadoop hdfs_Python_Hadoop_Arduino_Hdfs_Bigdata - Fatal编程技术网

Python 如何将arduino传感器的数据实时存储到hadoop hdfs

Python 如何将arduino传感器的数据实时存储到hadoop hdfs,python,hadoop,arduino,hdfs,bigdata,Python,Hadoop,Arduino,Hdfs,Bigdata,我正在从事一个涉及使用hdfs的项目,我想每隔3秒将arduino数据存储到hadoop hdfs中的csv文件中 csv文件示例: “temp1”、“datetime1”、“location1” “temp2”、“datetime2”、“location2” “temp3”、“datetime3”、“location3” 每隔3秒,我想在这个csv文件中添加一行 我已经尝试过从arduino的串行端口读取python代码并写入nosql数据库,我也尝试过这样做,但在hdfs路径上发现了一些问题

我正在从事一个涉及使用hdfs的项目,我想每隔3秒将arduino数据存储到hadoop hdfs中的csv文件中

csv文件示例:

“temp1”、“datetime1”、“location1”

“temp2”、“datetime2”、“location2”

“temp3”、“datetime3”、“location3”

每隔3秒,我想在这个csv文件中添加一行

我已经尝试过从arduino的串行端口读取python代码并写入nosql数据库,我也尝试过这样做,但在hdfs路径上发现了一些问题

#创建简单的数据帧
liste_temp=[temp_字符串,datetime.datetime.now(),温度位置]
df=pd.DataFrame(数据={'temp':liste_temp})
#将数据帧写入hdfs
使用client_hdfs.write('/test/temp.csv',encoding='utf-8')作为编写器:
df.to_csv(编写器)
错误:

File "templog.py", line 33, in <module> with client_hdfs.write('/test/temp.csv', encoding = 'utf-8') as writer: File "C:\Users\nouhl\AppData\Local\Programs\Python\Python37-32\lib\site-packages\hdfs\client.py", line 460, in write raise
InvalidSchema("No connection adapters were found for '%s'" % url) requests.exceptions.InvalidSchema: No connection adapters were found for 'hdfs://localhost:9870/webhdfs/v1/test/temp.csv
文件“templog.py”,第33行,以client_hdfs.write('/test/temp.csv',encoding='utf-8')作为编写器:文件“C:\Users\nouhl\AppData\Local\Programs\Python 37-32\lib\site packages\hdfs\client.py”,第460行,以write-raise形式
InvalidSchema(“未找到“%s”的连接适配器%url)请求。异常。InvalidSchema:未找到“%s”的连接适配器hdfs://localhost:9870/webhdfs/v1/test/temp.csv

出现了什么错误?@benWatson文件“templog.py”,第33行,以client_hdfs.write('/test/temp.csv',encoding='utf-8')作为编写器:文件“C:\Users\nouhl\AppData\Local\Programs\Python37-32\lib\site packages\hdfs\client.py”,第460行,在write-raise-raise InvalidSchema中(“未找到“%s'%url的连接适配器”)requests.exceptions.InvalidSchema:未找到“”的连接适配器hdfs://localhost:9870/webhdfs/v1/test/temp.csv我认为这是python和HDFS之间的连接问题一般来说,实时传感器接收在写入HDFS之前由Kafka或Flume处理,不是直接从传感器设备得到的错误是什么?@benWatson文件“templog.py”,第33行,以client_hdfs.write('/test/temp.csv',encoding='utf-8')作为编写器:文件“C:\Users\nouhl\AppData\Local\Programs\Python\Python37-32\lib\site packages\hdfs\client.py”,第460行,write-deschema(“找不到“%s”的连接适配器%url)requests.exceptions.InvalidSchema:未找到“”的连接适配器hdfs://localhost:9870/webhdfs/v1/test/temp.csv“我认为这是python和HDFS之间的连接问题。一般来说,实时传感器摄取是在写入HDFS之前从Kafka或Flume处理的,而不是直接从传感器设备