python Django批量导入数据

 更新时间:2016年03月25日 14:37:46   作者:CQ_LQJ   我要评论
这篇文章主要为大家详细介绍了python Django批量导入数据的相关资料感兴趣的小伙伴们可以参考一下

前言:

这期间有研究了Django网页制作过程中,如何将数据批量导入到金沙国际官网中.

这个过程真的是惨不忍睹,犯了很多的低级错误,这会在正文中说到的.再者导入数据用的是py脚本,脚本内容参考至自强学堂--中级教程--数据导入.

 注:本文主要介绍自己学习的经验总结,而非教程!

正文:首先说明采用Django中bulk_create()函数来实现数据批量导入功能,为什么会选择它呢?

1 bulk_create()是执行一条SQL存入多条数据,使得导入速度更快;

2 bulk_create()减少了SQL语句的数量;

       然后,我们准备需要导入的数据源,数据源格式可以是xls,csv,txt等文本文档;

       最后,编写py脚本,运行即可!

py脚本如下:

#coding:utf-8 
import os 
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "www.settings") 
'''
Django 版本大于等于1.7的时候,需要加上下面两句
import django
django.setup()
否则会抛出错误 django.core.exceptions.AppRegistryNotReady: Models aren't loaded yet.
'''
import django
import datetime

if django.VERSION >= (1, 7):#自动判断版本
  django.setup()
from keywork.models import LOrder
f = open('cs.csv')
WorkList = []
next(f) #将文件标记移到下一行
for line in f:
  parts = line.replace('"','') #将字典中的"替换空
  parts = parts.split(';') #按;对字符串进行切片
  WorkList.append(LOrder(serv_id=parts[0], serv_state_name=parts[1], acct_code=parts[2], acct_name=parts[3], acc_nbr=parts[4], user_name=parts[5],
              frod_addr=parts[6], mkt_chnl_name=parts[7],mkt_grid_name=parts[8], com_chnl_name=parts[9],com_grid_name=parts[10],
              product_name=parts[11],access_name=parts[12], completed_time=parts[13],remove_data=parts[14], service_offer_name=parts[15],
              org_name=parts[16], staff_name=parts[17],staff_code=parts[18], handle_time=parts[19],finish_time=parts[20],
              prod_offer_name=parts[21],eff_date=parts[22], exp_date=parts[23],main_flag=parts[24], party_name=parts[25]
              )
          )
f.close() 
LOrder.objects.bulk_create(WorkList)

根据上面py脚本源代码主要来说说自己学习过程中遇见的问题

问题1:需要导入的数据源中其第一行一般是字段名,从第二行开始才是数据,所以在脚本利用next(f)将文本标记移到第二行进行操作,不然会出现问题,比如字段名一般为英文,默认是字符串格式化,脚本执行就会遇见ValidationError:YYYY-MM-DD HH:MM[:ss[.uuuuuu]][TZ]这种models数据格式与导入数据格式不相符合的错误!

问题2:注意parts = parts.split(';') #按;对字符串进行切片该语句,因为我们导入数据每一行中的每列数据之间有间隔符,例如csv中逗号,xls中空格等各种文本默认间隔符号,split函数使用实例如下:

以下实例展示了split()函数的使用方法: 

#!/usr/bin/python
str = "Line1-abcdef \nLine2-abc \nLine4-abcd";
print str.split( );
print str.split(' ', 1 ); 

以上实例输出结果如下: 

['Line1-abcdef', 'Line2-abc', 'Line4-abcd']
['Line1-abcdef', '\nLine2-abc \nLine4-abcd']
问题3:如果导入数据源超过10M,然后金沙国际官网默认最大10M,那么上面脚本运行不会成功.以mysql为例,若导入数据大小超过数据设置,那么会报2006 go away错误,需要在mysql中的my.ini中的[mysqld]下加入下列语句:

max_allowed_packet=300M --最大允许包大小300M
wait_timeout=200000  --连接时间200000s
interactive_timeout = 200000 --断开时间200000s

以上就是本文的全部内容,希望对大家学习python批量导入数据有所帮助。

相关文章

  • 基于Python函数的作用域规则和闭包(详解)

    基于Python函数的作用域规则和闭包(详解)

    下面小编就为大家分享一篇基于Python函数的作用域规则和闭包详解,希望对大家有所帮助。一起跟随小编过来看看吧
    2017-11-11
  • Pandas DataFrame数据的更改、插入新增的列和行的方法

    Pandas DataFrame数据的更改、插入新增的列和行的方法

    这篇文章主要介绍了Pandas DataFrame数据的更改、插入新增的列和行的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-06-06
  • python高手之路python处理excel文件(方法汇总)

    python高手之路python处理excel文件(方法汇总)

    用python来自动生成excel数据文件。python处理excel文件主要是第三方模块库xlrd、xlwt、xluntils和pyExcelerator,除此之外,python处理excel还可以用win32com和openpyxl模块
    2016-01-01
  • Python使用itchat模块实现群聊转发,自动回复功能示例

    Python使用itchat模块实现群聊转发,自动回复功能示例

    这篇文章主要介绍了Python使用itchat模块实现群聊转发,自动回复功能,结合实例形式分析了Python基于itchat模块针对微信信息的发送、回复等相关操作技巧,需要的朋友可以参考下
    2019-08-08
  • 使用50行Python代码从零开始实现一个AI平衡小游戏

    使用50行Python代码从零开始实现一个AI平衡小游戏

    本文会为大家展示机器学习专家 Mike Shi 如何用 50 行 Python 代码创建一个 AI,使用增强学习技术,玩耍一个保持杆子平衡的小游戏。本文给大家带来实现思路及简单代码,感兴趣的朋友跟随小编一起看看吧
    2018-11-11
  • python字符串常用方法

    python字符串常用方法

    这篇文章主要介绍了python字符串常用方法,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2018-06-06
  • Python编程在flask中模拟进行Restful的CRUD操作

    Python编程在flask中模拟进行Restful的CRUD操作

    今天小编就为大家分享一篇关于Python编程在flask中模拟进行Restful的CRUD操作,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2018-12-12
  • 用Python生成器实现微线程编程的教程

    用Python生成器实现微线程编程的教程

    这篇文章主要介绍了用Python生成器实现微线程编程的教程,本文来自于IBM官方开发者技术文档,需要的朋友可以参考下
    2015-04-04
  • Python程序中设置HTTP代理

    Python程序中设置HTTP代理

    本文主要给大家简单讲解了下http代理的概念以及如何在Python程序中设置http代理的方法,非常的详细,有需要的小伙伴可以参考下
    2016-11-11
  • Python基础之函数的定义与使用示例

    Python基础之函数的定义与使用示例

    这篇文章主要介绍了Python基础之函数的定义与使用,结合实例形式分析了Python函数的定义、参数、变量作用域、返回值等相关概念与使用技巧,需要的朋友可以参考下
    2019-03-03

最新评论