mongodb
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。
MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。
集合：对应数据库表
文档：对应数据库一条数据
插入文档
save()：如果 _id 主键存在则更新数据，如果不存在就插入数据。该方法新版本中已废弃，可以使用 db.collection.insertOne() 或 db.collection.replaceOne() 来代替。
insert(): 若插入的数据主键已经存在，则会抛 org.springframework.dao.DuplicateKeyException 异常，提示主键重复，不保存当前数据。
3.2 版本之后新增了 db.collection.insertOne() 和 db.collection.insertMany()
mongodb-insertOne
db.getCollection('test').insertOne({"price": 15, "number": 10, "name": "apple"})
mongodb-insertOne
db.getCollection('test').insertMany([{"price": 15, "number": 10, "name": "apple"}, {"price": 10, "number": 20, "name": "orange"}])
pymonodb-insert
import pymongo
host = "xxx"
port = 30019
db = pymongo.MongoClient(host=host, port=port)
# 集群
# pymongo.MongoClient("192.168.234.241:30019,192.168.234.241:30019")
# 获取所有数据库
db.database_names()
# test 数据库不存在则创建，有数据插入才会真实创建
db["test"]
# 获取数据库的集合
db["test"].collection_names()
# test 集合不存在则创建，有数据插入才会真实创建
document = db["test"]["test"]
# insert_one
db.get_database("jenkins").get_collection('test').insert_one({"price": 15, "number": 10, "name": "apple"})
# insert_many
db.get_database("jenkins").get_collection('test').insert_many([{"price": 5, "number": 10, "name": "watermelon"}, {"price": 10, "number": 30, "name": "grape"}])
# insert
db.get_database("jenkins").get_collection('test').insert([{"price": 5, "number": 11, "name": "plum"}])
db.get_database("jenkins").get_collection('test').insert({"price": 5, "number": 11, "name": "plum"})
db.get_database("jenkins").get_collection('test').insert([{"price": 5, "number": 10, "name": "pear"}, {"price": 20, "number": 20, "name": " strawberry "}])
# 集合更新文档
db.getCollection('job').update({"_id": "2021-11-33-15-46-31"}, {"status": "test"}, true)
# db.collection.update(criteria,objNew,upsert,multi)
# criteria 查询条件
# objNew 更新数据
# upsert 如果不存在update的记录，是否插入objNew这个新的document。true为插入，默认是false，不插入。
# multi 默认是false，只更新找到的第一条记录。如果为true，按条件查出来的多条记录全部更新。
查询
条件
{:{$lt:}} 小于{:{$gt:}} 大于{:{$gte:}} 大于等于{:{$lte:}} 小于等于{:{$ne:}} 不等于{$or: [{key1: value1}, {key2:value2}]} or{{key1: value1}, {key2:value2}} and{“key”: {“$in”: [value]}}{“key”: {“$nin”: [value]}}{“$regex”: “”} 正则表达{“$not”: “”}
mongodb-find
db.getCollection('test').find({"price": {"$gt": 10}})
db.getCollection('test').find({"price": {"$gt": 10}, "number": {"$lt": 20}})
db.getCollection('test').find({$or: [{"price": {"$gt": 5}}, {"number": {"$lt": 20}}]})
db.getCollection('test').find({"price": {"$in": [10, 15]}})
db.getCollection('test').find({"price": {"$nin": [10, 15]}})
db.getCollection('job').find({"projectBranch": {"$regex": "\\d{1}"}})
db.getCollection('job').find({"projectBranch": {$not: {"$regex": "\\d{1}"}}})
pymongo-find
# 大于
response = db.get_database("jenkins").get_collection('test').find({"price": {"$gt": 10}})
print(list(response))
# and
response = db.get_database("jenkins").get_collection('test').find({"price": {"$gt": 10}, "number": {"$lt": 20}})
print(list(response))
# or
response = db.get_database("jenkins").get_collection('test').find({"$or": [{"price": {"$gt": 5}}, {"number": {"$lt": 20}}]})
print(list(response))
# in
response = db.get_database("jenkins").get_collection('test').find({"price": {"$in": [10, 15]}})
print(list(response))
# nin
response = db.get_database("jenkins").get_collection('test').find({"price": {"$nin": [10, 15]}})
print(list(response))
# regex
response = db.get_database("jenkins").get_collection('job').find({"projectBranch": {"$regex": "\\d{1}"}})
print(list(response))
# not
response = db.get_database("jenkins").get_collection('job').find({"projectBranch": {"$not": {"$regex": "\\d{1}"}}})
print(list(response))
# 集合查询
collection.find({"_id": "2021-11-26-15-13-46"}, {"_id": 1})
# db.collection.find(query, projection)
# query 是可选参数，基于查询操作符指定了查询的条件
# projection 返回的字段，1为要返回，0位不返回，1和0不能同时使用
# collection.find({"_id": "2021-11-26-15-13-46"}, {"_id": 0, "userName": 0}) 正确
# collection.find({"_id": "2021-11-26-15-13-46"}, {"_id": 1, "userName": 0}) 错误
排序、skip、limit
# sort 1 为升序排列，而 -1 是用于降序排列。
# skip 跳过多少条
# limit 取多少条
db.getCollection('job').find({"projectBranch": {$not: {"$regex": "\\d{1}"}}}).sort({"projectBranch": 1}).skip(1).limit(2)
# 顺序无关
db.getCollection('job').find({"projectBranch": {$not: {"$regex": "\\d{1}"}}}).sort({"projectBranch": 1}).limit(2).skip(1)
聚合
表达式
$sum$max$min$avg$push 将值加入一个数组中，不会判断是否有重复的值$addToSet 将值加入一个数组中，判断是否有重复的值$ first 第一个$ last 最后一个
# 已libBranch 分组，统计个数
db.getCollection('job').aggregate([{$group : {_id : "$libBranch", num_tutorial : {$sum : 1}}}])
管道
$project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。match：用于过滤数据，只输出符合条件的文档。match：用于过滤数据，只输出符合条件的文档。match：用于过滤数据，只输出符合条件的文档。match使用MongoDB的标准查询操作。$limit：用来限制MongoDB聚合管道返回的文档数。$skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。$unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。$group：将集合中的文档分组，可用于统计结果。$sort：将输入文档排序后输出。$geoNear：输出接近某一地理位置的有序文档
mongodb-aggregate
db.getCollection('job').aggregate([{$match : {"projectBranch": {"$regex": "\\d{1}"}}}, {"$project": {"status": 1}}])
db.getCollection('job').aggregate([{$match : {"projectBranch": {"$regex": "\\d{1}"}}}, {"$project": {"status": 1}}, {"$skip": 1}, {"$limit": 2}])
# 顺序是有区别的
db.getCollection('job').aggregate([{$match : {"projectBranch": {"$regex": "\\d{1}"}}}, {"$project": {"status": 1}}, {"$limit": 2},{"$skip": 1}])
pymongo-aggregate
response = db.get_database("jenkins").get_collection('job').aggregate([{"$match" : {"projectBranch": {"$regex": "\\d{1}"}}}, {"$project": {"status": 1}}, {"$limit": 2},{"$skip": 1}])
print(list(response))
mongo+pandas
import pandas as pd
import pymongo
host = "xxx"
port = 30019
db = pymongo.MongoClient(host=host, port=port)
data = pd.DataFrame(db.get_database("jenkins").get_collection('test').find())
db.close()