document_stores.migration.vector_migration

向量存储迁移和备份工具

提供向量存储系统间的数据迁移、备份恢复和数据验证功能。支持内存存储、FAISS、Milvus等不同后端之间的无缝迁移。

Functions

`backup_vector_storage`(store, backup_name)	向量存储备份的便捷函数。
`migrate_vector_storage`(source_config, ...[, ...])	向量存储迁移的便捷函数。

Classes

VectorStoreMigrator()

向量存储迁移工具类。

class document_stores.migration.vector_migration.VectorStoreMigrator[source]

Bases: object

向量存储迁移工具类。

提供完整的迁移、备份、恢复和验证功能。

__init__()[source]

初始化迁移工具

migrate(source_config, target_config, batch_size=1000, verify_migration=True, backup_before_migration=True)[source]

执行向量存储迁移。

Parameters:

source_config (Dict[str, Any]) – 源存储配置
target_config (Dict[str, Any]) – 目标存储配置
batch_size (int) – 批量迁移大小
verify_migration (bool) – 是否验证迁移结果
backup_before_migration (bool) – 迁移前是否备份

Returns:

迁移成功返回True，失败返回False

Return type:

bool

backup_storage(store, backup_name, backup_dir='./backups')[source]

备份向量存储。

Parameters:

store (BaseVectorStore) – 要备份的存储
backup_name (str) – 备份名称
backup_dir (str) – 备份目录

Returns:

备份路径，失败返回None

Return type:

str | None

restore_storage(backup_path, target_config, verify_backup=True)[source]

从备份恢复向量存储。

Parameters:

backup_path (str) – 备份路径
target_config (Dict[str, Any]) – 目标存储配置
verify_backup (bool) – 是否验证备份完整性

Returns:

恢复成功返回True

Return type:

bool

verify_migration(source_store, target_store, sample_ratio=0.1)[source]

验证迁移结果。

Parameters:

source_store (BaseVectorStore) – 源存储
target_store (BaseVectorStore) – 目标存储
sample_ratio (float) – 抽样验证比例

Returns:

验证通过返回True

Return type:

bool

verify_backup(backup_path)[source]

验证备份完整性。

Parameters:: backup_path (str) – 备份路径
Returns:: 验证通过返回True
Return type:: bool

list_backups(backup_dir='./backups')[source]

列出所有备份。

Parameters:: backup_dir (str) – 备份目录
Returns:: 备份信息列表
Return type:: List[Dict[str, Any]]

cleanup_old_backups(backup_dir='./backups', keep_count=10)[source]

清理旧备份。

Parameters:

backup_dir (str) – 备份目录
keep_count (int) – 保留的备份数量

Returns:

删除的备份数量

Return type:

int

document_stores.migration.vector_migration.migrate_vector_storage(source_config, target_config, batch_size=1000)[source]

向量存储迁移的便捷函数。

Parameters:

source_config (Dict[str, Any]) – 源存储配置
target_config (Dict[str, Any]) – 目标存储配置
batch_size (int) – 批处理大小

Returns:

迁移成功返回True

Return type:

bool

document_stores.migration.vector_migration.backup_vector_storage(store, backup_name)[source]

向量存储备份的便捷函数。

Parameters:

store (BaseVectorStore) – 要备份的存储
backup_name (str) – 备份名称

Returns:

备份路径，失败返回None

Return type:

str | None