HF Buckets: Upload Only What Changed with Xet
Hugging Face 的 HF Buckets 通过 Xet 技术实现增量上传,仅传输数据变更部分,显著减少带宽消耗。
入选理由:使用 Xet 技术可减少 99% 的重复数据上传量(演示中 191MB 文件仅上传新增 100 行)
概念
列式存储格式,影响增量上传检测
已跟踪 3 条高相关材料
最近变化
2026-10-07 · 使用 Xet 技术可减少 99% 的重复数据上传量(演示中 191MB 文件仅上传新增 100 行)
为什么值得关注
Parquet 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
HF Buckets: Upload Only What Changed with Xet
Hugging Face · 8.5 分
Hugging Face 的 HF Buckets 通过 Xet 技术实现增量上传,仅传输数据变更部分,显著减少带宽消耗。
⭐ 𝗠𝗶𝗹𝘃𝘂𝘀 𝟯.𝟬 𝗶𝗻𝘁𝗿𝗼𝗱𝘂𝗰𝗲𝘀 𝗘𝘅𝘁𝗲𝗿𝗻𝗮𝗹 𝗖𝗼𝗹𝗹𝗲𝗰𝘁𝗶𝗼𝗻𝘀, 𝗮 𝘄𝗮𝘆 𝘁𝗼 ...
Milvus(@milvusio) · 8.5 分
Milvus 3.0 引入 External Collections,实现湖数据零拷贝索引,解决数据冗余与搜索效率问题。
Feature Stores from Scratch: A Minimal Working Implementation
KDnuggets · 8.5 分
从零开始构建一个最小可用的特征存储系统,涵盖训练和推理场景,并适用于LLM上下文需求。
已收录 3 条与 Parquet 相关的内容,按评分排序。
Hugging Face 的 HF Buckets 通过 Xet 技术实现增量上传,仅传输数据变更部分,显著减少带宽消耗。
入选理由:使用 Xet 技术可减少 99% 的重复数据上传量(演示中 191MB 文件仅上传新增 100 行)
Milvus 3.0 引入 External Collections,实现湖数据零拷贝索引,解决数据冗余与搜索效率问题。
入选理由:External Collections 支持 Parquet/Lance/Iceberg 等湖格式,无需数据迁移
从零开始构建一个最小可用的特征存储系统,涵盖训练和推理场景,并适用于LLM上下文需求。
入选理由:特征存储系统包含五个核心组件:特征注册表、离线存储、在线存储、材料化管道和检索API。