python3爬取的数据怎么导入mysql 如何将scrapy爬虫的数据存到mysql中

python3爬取的数据怎么导入mysql

import pymysql #导入pymsql模块 #链接数据库，注意port是int型，不是str，所以不要用引号conn = pymysql.connect( user=root, password=root, host=127.0.0.1, port=3306, database=test_demo, use_unicode=True, charset="utf8" )#获取游标cursor = conn.cursor()#插入数据，注意看有变量的时候格式cursor.execute("INSERT INTO tieba_user(`uuid`,`user_name`,`user_rank`,`user_level`,`level_status`,`tieba_name`) VALUES (%s,%s,%s,%s,%s,%s)", (user_id, user_name, user_rank, user_level, level_statu, tieba_name))#提交conn.commit()#关闭连接cursor.close()

如何将scrapy爬虫的数据存到mysql中

爬虫跟踪下一页的方法是自己模拟点击下一页连接，然后发出新的请求。请看： item1 = Item()yield item1item2 = Item()yield item2req = Request(url=下一页的链接, callback=self.parse)yield req 注意使用yield时不要用return语句。

python爬虫爬下来的数据怎么导入到MySQL

下载mysql.connector库

然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库，当然也可以建表，一般我没用python建表 是先建好再写数据的
import mysql.connector
conn = mysql.connector.connect(
    user=root,
    password=root,
    host=127.0.0.1,
    port=3306,
    database=test_demo
)

cursor = conn.cursor()

cursor.execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])
cursor.execute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])

print(************** %s  %s 数据保存成功 **************%(user_rank,user_name))
conn.commit()
cursor.close()
插进入就这样的

抓取网页数据到自己的数据库中

我想问一下是单纯的几个网页数据的抓取，还是类似百度查询等网络爬虫式的抓取。一个网页的抓取，我可以给你一个方向，就是用文件流和一些正则表达式来获取页面的一些特殊数据。如果要程序的话，可以和我说，我晚上可以给你一个小例子。。。