Mongodb數(shù)據(jù)庫轉(zhuǎn)換為表格文件的庫

回復“書籍”即可獲贈Python從入門到進階共10本電子書

前言

大家好，我是吳老板。今天給大家分享一個可將Mongodb數(shù)據(jù)庫里邊的文件轉(zhuǎn)換為表格文件的庫，這個庫是我自己開發(fā)的，有問題可以隨時咨詢我。

Mongo2file庫是一個 Mongodb 數(shù)據(jù)庫轉(zhuǎn)換為表格文件的庫。

在我的日常工作中經(jīng)常和 mongodb 打交道，而從 mongodb 數(shù)據(jù)庫中批量導出數(shù)據(jù)為其他格式則成為了剛需。

如果您跟我一樣每次導出數(shù)據(jù)時都需要重新編寫或到處尋找 腳本代碼 的話，這個庫可能會對您產(chǎn)生幫助。

依賴于快速 PyArrow

mongo2file 依賴于 PyArrow 庫。它是 C++ Arrow 的 Python 版本實現(xiàn)。

PyArrow 目前與 Python 3.7、3.8、3.9 和 3.10 兼容。

倉庫地址: https://github.com/apache/arrow

如果您在 Windows 上遇到任何的導入問題或錯誤，您可能需要安裝 Visual Studio 2015。

警告: PyArrow 目前只支持到 win64 位 ( Python 64bit ) 操作系統(tǒng)。

其次，除了常見的 csv、excel、以及 json 文件格式之外, mongo2file 還支持導出 pickle、feather、parquet 的二進制壓縮文件。

pickle、feather、parquet 是 Python 序列化數(shù)據(jù)的一種文件格式, 它把數(shù)據(jù)轉(zhuǎn)成二進制進行存儲。從而大大減少讀取的時間。

安裝

pip?install?mongo2file

基本用法

快速開始

import?os
from?mongo2file?import?MongoEngine

M?=?MongoEngine(
????host=os.getenv('MONGO_HOST',?'127.0.0.1'),
????port=int(os.getenv('MONGO_PORT',?27017)),
????username=os.getenv('MONGO_USERNAME',?None),
????password=os.getenv('MONGO_PASSWORD',?None),
????database=os.getenv('MONGO_DATABASE',?'test_'),
????collection=os.getenv('MONGO_COLLECTION',?'test_')
)


def?to_csv():
????result_?=?M.to_csv()
????assert?"successfully"?in?result_


def?to_excel():
????result_?=?M.to_excel()
????assert?"successfully"?in?result_


def?to_json():
????result_?=?M.to_excel()
????assert?"successfully"?in?result_


def?to_pickle():
????result_?=?M.to_pickle()
????assert?"successfully"?in?result_


def?to_feather():
????result_?=?M.to_feather()
????assert?"successfully"?in?result_


def?to_parquet():
????result_?=?M.to_parquet()
????assert?"successfully"?in?result_
????
to_csv()

當 MongoEngine 控制類指定了 mongodb 表名稱時、將對數(shù)據(jù)表 (mongodb集合) 進行導出操作。

其類方法參數(shù)包括:

• query: 指定對數(shù)據(jù)表的查詢參數(shù)、只對指定表名時有效
• folder_path: 指定導出目錄路徑
• filename: 指定導出文件名、默認為 表名稱 + 當前時間
• _id: 指定是否導出 _id、布爾型、默認為 False
• limit: 指定導出表的限制數(shù)據(jù)、int類型、默認為 -1、即不限制。

import?os
from?mongo2file?import?MongoEngine

"""
作用于?MongoEngine?類未指定表名稱時
"""

M?=?MongoEngine(
????host=os.getenv('MONGO_HOST',?'127.0.0.1'),
????port=int(os.getenv('MONGO_PORT',?27017)),
????username=os.getenv('MONGO_USERNAME',?None),
????password=os.getenv('MONGO_PASSWORD',?None),
????database=os.getenv('MONGO_DATABASE',?'test_')
)


def?to_csv():
????result_?=?M.to_csv()
????assert?"successfully"?in?result_


def?to_excel():
????result_?=?M.to_excel()
????assert?"successfully"?in?result_


def?to_json():
????result_?=?M.to_json()
????assert?"successfully"?in?result_
????
to_csv()

當 MongoEngine 控制類只指定了 mongodb 庫名稱時、將對數(shù)據(jù)庫下所有集合進行導出操作。

面對 mongo2file 的瓶頸和改進

對于 mongodb 的全表查詢、條件查詢、聚合操作、以及索引操作(當數(shù)據(jù)達到一定量級時建議) 并不是直接影響 數(shù)據(jù)導出的最大因素。

因為 mongodb 的查詢一般而言都非?？焖?，主要的瓶頸在于讀取 數(shù)據(jù)庫 之后將數(shù)據(jù)轉(zhuǎn)換為大列表存入 表格文件時所耗費的時間。

_這是一件非?？膳碌氖虑開。

當沒有多線程(當然這里的多線程并不是對同一文件進行并行操作，文件寫入往往是線程不安全的)、 數(shù)據(jù)表查詢語句無優(yōu)化時，并且當數(shù)據(jù)達到一定量級時(比如 100w 行)，單表單線程表現(xiàn)出來的效果真是讓人窒息。

在 mongo2file 在進行大數(shù)據(jù)量導出時表現(xiàn)的并沒有多么優(yōu)秀。導致的主要原因可能是:

• 采用的 xlsxwriter 庫寫入 excel 時是積極加載(非惰性)的，數(shù)據(jù)全部加載至內(nèi)存后插入表格。
• 大數(shù)據(jù)量插入表格時、跟宿主機器的性能有關。

mongo2file 表現(xiàn)的不如人意時，我做出了一下改進:

• 當數(shù)據(jù)量過大時，數(shù)據(jù)表分塊讀取，導出多表格。
• 增加線程池的最大并發(fā)數(shù)、當選取的 block_size 值合適時，將發(fā)揮最大性能。

對于數(shù)據(jù)轉(zhuǎn)換一些建議

• 對于 xlsxwriter、openpyxl、xlwings 以及 pandas 引用的任何引擎進行寫入操作時、都會對寫入數(shù)據(jù)進行非法字符的過濾。這一點從部分源碼中可以看得出來。
• 由于行數(shù)據(jù)表中可能存在 excel 無法識別的非法字符 (比如空列表 []) , 當寫至此行時將拋出 非法類型 的錯誤。
• 而比較恰當合理的做法就是在存儲 mongodb 文檔時不要存入類似于 []、{} 的這種對原始數(shù)據(jù)無意義的空對象。

Reference API

MongoEngine

MongoEngine(
????host='localhost',
????port=27017,
????username=None,
????password=None,
????database='測試庫',
????collection='測試表_200000'
)

to_csv(query, folder_path, filename, ...)

:param?query:?數(shù)據(jù)庫查詢條件、字典類型、只作用于單表導出
:param?folder_path:?指定導出的目錄
:param?filename:?指定導出的文件名
:param?_id:?是否導出?_id?默認否
:param?limit:?限制數(shù)據(jù)表查詢的條數(shù)
:param?is_block:?是否分塊導出
:param?block_size:?塊大小、is_block?為?True?時生效

to_excel(query, folder_path, filename, ...)

:param?query:?數(shù)據(jù)庫查詢條件、字典類型、只作用于單表導出
:param?folder_path:?指定導出的目錄
:param?filename:?指定導出的文件名
:param?_id:?是否導出?_id?默認否
:param?limit:?限制數(shù)據(jù)表查詢的條數(shù)
:param?is_block:?是否分塊導出
:param?block_size:?塊大小、is_block?為?True?時生效
:param?mode:?導出模式,?枚舉類型、sheet?或?xlsx,?當?is_block?為?True?時生效
:param?ignore_error:?是否忽略錯誤、數(shù)據(jù)表中存在非序列化類型時使用、這將一定程度上影響程序的性能

to_json(query, folder_path, filename, ...)

:param?query:?數(shù)據(jù)庫查詢條件、字典類型、只作用于單表導出
:param?folder_path:?指定導出的目錄
:param?filename:?指定導出的文件名
:param?_id:?是否導出?_id?默認否
:param?limit:?限制數(shù)據(jù)表查詢的條數(shù)
:param?is_block:?是否分塊導出
:param?block_size:?塊大小、is_block?為?True?時生效

to_pickle(query, folder_path, filename, ...)

:param?query:?數(shù)據(jù)庫查詢條件、字典類型、只作用于單表導出
:param?folder_path:?指定導出的目錄
:param?filename:?指定導出的文件名
:param?_id:?是否導出?_id?默認否
:param?limit:?限制數(shù)據(jù)表查詢的條數(shù)

to_feather(query, folder_path, filename, ...)

:param?query:?數(shù)據(jù)庫查詢條件、字典類型、只作用于單表導出
:param?folder_path:?指定導出的目錄
:param?filename:?指定導出的文件名
:param?_id:?是否導出?_id?默認否
:param?limit:?限制數(shù)據(jù)表查詢的條數(shù)

to_parquet(query, folder_path, filename, ...)

:param?query:?數(shù)據(jù)庫查詢條件、字典類型、只作用于單表導出
:param?folder_path:?指定導出的目錄
:param?filename:?指定導出的文件名
:param?_id:?是否導出?_id?默認否
:param?limit:?限制數(shù)據(jù)表查詢的條數(shù)

總結

大家好，我是吳老板。以上就是今天要分享的全部內(nèi)容了，總的來說，Mongo2file庫是一個可以將 Mongodb 數(shù)據(jù)庫轉(zhuǎn)換為表格文件的庫，不僅支持導出csv、excel、以及 json 文件格式, 還支持導出 pickle、feather、parquet 的二進制壓縮文件。歡迎大家積極嘗試，在使用過程中有遇到任何問題，歡迎隨時聯(lián)系我。

最后感謝【吳老板】提供的mongo2file庫，也歡迎大家積極嘗試使用，如果有遇到問題，請隨時聯(lián)系我，希冀在實際工作中幫到大家，那樣就錦上添花了。