pyspark空dataframe能写入数据库吗 如何将pandas.dataframe的数据写入到文件中
如何将pandas.dataframe的数据写入到文件中
步骤操作方法如下：
1、环境准备:
a、右击桌面上选择【Open in Terminal】 打开终端。
b、在弹出的终端中输入【ipython】进入Python的解释器中，如图1所示。
2、导入所需要的包：
导入实验常用的python包。如图2所示。
【import pandas as pd】pandas用来做数据处理。
【import numpy as np】numpy用来做高维度矩阵运算.
【import matplotlib.pyplot as plt】matplotlib用来做数据可视化。
3、pandas数据写入到csv文件中：
【names = [‘Bob’,’Jessica’,’Mary’,’John’,’Mel’]】创建一个names列表
【 births = [968,155,77,578,973]】创建一个births 列表
【DataSet = list(zip(names,births))】用 zip 函数将这两个列表合并在一起
【DataSet】查看生成的数据
【df = pd.DataFrame(data = DataSet ,columns=[‘Names’,’Births’])】用生成的数据生成一个DataFrame对象
【df】查看生成的dataFrame
将创建的数据写入到/opt/births1880.csv文件中，
【df.to_csv(‘/opt/births1880.csv’, index=False, header=False )】将df写入到文件中
【ls /opt/births1880.csv】查看文件是否存在
【cat /opt/births1880.csv】查看文件内容
4、pandas读取csv中的数据
读取步骤3生成的数据，如图5所示。
【local_data = r’/opt/births1880.csv’】将文件路径赋到变量local_data中
【df2 = pd.read_csv(local_data,header=None)】读取内容赋值到df【df2】查看df2的值
【 df3 = pd.read_csv(local_data,header=None,names=[‘names’,’births’])】指定列名字赋值到df【df3】查看df3的值
Pandas是Python下一个开源数据分析的库，它提供的数据结构DataFrame极大的简化了数据分析过程中一些繁琐操作,DataFrame是一张多维的表，大家可以把它想象成一张Excel表单或者Sql表。之前这篇文章已经介绍了从各种数据源将原始数据载入到dataframe中，这篇文件介绍怎么将处理好的dataframe中的数据写入到文件和数据库中。
参考资料
博客园.博客园[引用时间2018-1-2]
如何把DataTable快速写入数据库
JDBC操作数据库其实只要掌握了六大步骤就基本差不多啦：
1.加载驱动
Class.forName(String)
String(驱动器的名称，分oracle,sql server等数据库驱动)
2.创建连接
DriverManager.getConnection(url,userName,passwd)
url是数据库的地址,后面分别是用户名和密码
3.创建会话statement(三种statement)
stmt(Statement):所有stmt的父类从connection对象获得，主要用于解析执行sql语句，返回响应结果，多执行异构的sql语句
pstmt(preparedStatement):主要用于执行同构的sql语句，stmt的子类。
cstmt:主要用于执行plsql的编程对象
4.执行sql语句
executeQuery()
5.处理结果集(有结果集返回，无则可省去，比如插入和删除)
ResultSet rs = 步骤4的结果
6.释放资源即连接，一般些在finally语句块中，目的是减轻服务器的压力
如何创建一个空DataFrame，并其中插入一行数据
在pandas中创建一个空DataFrame的方法，类似于创建了一个空字典（dict）。
例如：empty =
pandas.DataFrame({"name":"","age":"","sex":""})
想要向empty中插入一行数据，可以用同样的方法。
（1）首先，要创建一个DataFrame。要注意，在这里需加入index属性，new
= pandas.DataFrame({"name":"","age":"","sex":""},index=["0"])。
（2）然后，开始插值。ignore_index=True,可以帮助忽略index，自动递增。
empty.append(new,ignore_index=True)
（3）最重要的，赋值给empty.
empty
= empty.append(new,ignore_index=True)
否则，数据始终没有写入。
如何将DataSet 的数据全部写入到数据库中
C#版
using System.Data
using System.Data.SqlClient
.
.
.
//定义DataSet...
DataSet ds = new DataSet()
//用SqlDataAdapter的Fill方法将数据填入ds省略不写。。。如二楼。。。
.
.
.
string strConn = "datasource...." //连接字符串定义
SqlConnection sqlConn = new SqlConnection(strConn)
SqlDataAdapter sqlComm = new SqlDataAdapter()
string default_strComm = "Insert into 表名 values ("
string strComm = default_strComm
//将ds内容回填
//外层循环，表示总共要向该表中插入多少条记录
for(int i =0i
//内层循环表示将该行的第几个字段里的值写入Sql的Insert语句
for(int j=0j
strComm = ds.Tables["表名"].Rows[i].ItemArray.GetValue(j)
}
sqlComm.InsertCommand = new SqlCommand(sqlConn)
sqlComm.InsertCommand.ExecuteNonQuery() //插入一行数据
strComm = default_strComm
}
如何将spark dataframe 存入mysql
创建DataFrame在Spark SQL中，开发者可以非常便捷地将各种内、外部的单机、分布式数据转换为DataFrame。以下Python示例代码充分体现了Spark SQL 1.3.0中DataFrame数据源的丰富多样和简单易用：# 从Hive中的users表构造DataFrameusers = sqlConte