快速导航×

分类
Lego-Edit— 小米开源的图像编辑框架2025-09-21 10:31:17

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Lego-Edit— 小米开源的图像编辑框架Lego-Edit是什么

lego-edit 是由小米研究院推出的开源指令驱动图像编辑框架，依托多模态大语言模型（mllm）的强大泛化能力，实现对图像内容的智能化、灵活化修改。该框架采用“模型即工具”的设计理念，内置多个在少量数据上高效训练的专用模型，构成一个可协同工作的工具集合，支持多种图像操作。通过三阶段渐进式强化学习训练方式——先监督微调（sft），再特定任务上的强化学习（rl），最后引入海量无标注指令进行扩展性rl训练——显著提升了系统对多样化、复杂指令的理解与执行能力。lego-edit 具备出色的泛化性能，在多个权威基准测试中达到领先水平，支持局部编辑、全局调整及多步连续操作，并可通过掩码精确指定编辑区域。此外，新工具可无需重新训练直接接入系统，极大增强了功能扩展性与实用性。

GoEnhance GoEnhance

全能AI视频制作平台：通过GoEnhance AI让视频创作变得比以往任何时候都更简单。

GoEnhance 347 查看详情 GoEnhance

Lego-Edit的主要功能

  • 多样化的图像编辑能力：能够根据自然语言指令完成复杂的图像修改任务，涵盖局部替换、整体风格迁移以及多轮连续编辑，适用于多种实际应用场景。
  • 开放域指令理解能力：基于多模态大语言模型（MLLM），可准确解析用户输入的自由形式指令，即使面对未曾训练过的描述也能通过语义推理完成相应操作。
  • 高效的模型级工具集成：框架集成了多个轻量且专精的图像处理模型，如色彩调节、对象生成、背景替换等，MLLM 可智能调度这些工具以实现细粒度控制。
  • 即插即用的新工具支持：新增编辑功能模块时，无需对主模型进行额外微调或重训，即可被系统识别和调用，便于快速迭代和定制化开发。
  • 精准的区域控制机制：支持用户上传掩码图来明确指定需编辑的像素范围，确保修改仅作用于目标区域，避免干扰其他图像内容，提升编辑精度。
  • 开源开放与易部署性：代码遵循 Apache 2.0 开源协议，模型权重采用 CC BY-NC 4.0 协议发布，提供完整的 Gradio WebUI 界面，用户只需简单配置环境并下载预训练模型即可快速上手使用。

Lego-Edit的技术原理

  • 模块化工具架构设计：Lego-Edit 将各类图像操作封装为独立的“模型级工具”，每个工具专注于特定任务（如去噪、上色、修复等），形成可组合使用的功能库。
  • 多模态大语言模型为核心控制器：MLLM 作为“大脑”负责理解用户指令、分析图像内容，并决策调用哪个工具、何时调用以及如何组合多个步骤完成复杂任务。
  • 三阶段渐进式训练流程：
    1. 监督微调（SFT）：使用标注好的指令-操作对训练模型掌握基本编辑逻辑；
    2. 任务导向强化学习（RL）：在具体编辑任务中引入奖励机制，优化模型的工具选择与执行策略；
    3. 大规模无监督RL增强：利用大量未标注的人类指令数据，结合强大的批评模型（critic model）提供反馈信号，进一步提升泛化能力。
  • 掩码引导的精确编辑：允许输入二值掩码图像，明确指示编辑作用区域，使系统能精准定位并修改指定部分，实现精细化操控。
  • 零样本工具集成能力：得益于统一的接口设计与语义理解能力，新加入的工具只需提供功能描述即可被 MLLM 自动识别和调用，无需额外训练。

Lego-Edit的项目地址

  • 项目官网：https://www.php.cn/link/8a95e369d9ff66dd5f5dea5fa7b5ab9a
  • Github仓库：https://www.php.cn/link/18b30c4ac2b116fdb322b3a7f749979e
  • arXiv技术论文：https://www.php.cn/link/de556ca8eba0fc417ac22b46cd3d0c84

Lego-Edit的应用场景

  • 创意设计辅助：设计师可通过自然语言快速实现构图调整、元素替换、风格迁移等操作，加速创意落地过程，激发更多灵感可能。
  • 数字内容生产：广泛应用于短视频制作、广告海报设计、社交平台图文编辑等领域，帮助创作者高效处理图像素材，提升内容质量与产出效率。
  • 电商平台图像优化：商家可用于自动美化商品图片，例如去除水印、改善光照、更换背景或添加虚拟展示环境，从而提升转化率。
  • 教育教学工具：作为教学演示平台，帮助学生理解图像处理原理，培养AI时代的数字创作能力；教师也可用于快速生成教学配图。
  • 个人影像美化：普通用户可轻松实现人像美颜、背景虚化、旧照修复等功能，满足日常拍照修图需求，便于分享至社交媒体。
  • 游戏与VR内容生成：在虚拟现实和游戏开发中，可用于快速生成角色皮肤、场景贴图、特效元素等资源，缩短美术资源制作周期，丰富视觉表现力。

以上就是Lego-Edit— 小米开源的图像编辑框架的详细内容，更多请关注其它相关文章！


# 自然语言  # 栖霞区零食网站优化照片  # 项城网站建设哪个好  # 乐安网站推广公司  # 外购商品用于营销推广  # 武汉营销推广系统招聘信息  # 乌牛网站建设推广  # 学网络营销推广哪里好  # 开封推广营销费用多少  # 市中区网站推广联盟  # 仙桃工厂seo推广员  # 安装包  # 一键  # 图像处理  # 多模  # 只需  # git  # 掩码  # 多个  # 开源  # 游戏开发  # 虚拟现实  # 短视频  # pdf  # ai  # 工具  # 电商平台  # 小米  # github  # apache  # go 


相关栏目： 【 企业资讯168 】 【 行业动态50218 】 【 媒体报道120512 】


相关推荐： 抖音GMV是什么_抖音GMV是什么意思  自由服务器如何做动态ip域名解析  夸克网盘是什么都有吗  什么网址不能域名解析  光刻机的分类及特点  animal是什么意思  折叠屏手机哪款最好  单片机怎么读取电流值  如何退出python命令行  linux如何调出命令行  sofa是什么意思  typescript怎么用  如何清理固态硬盘  access中如何使用常用宏命令  如何利用运行命令查看声音启动  typescript有哪些版本  壁挂炉power常亮是什么意思  如何用命令行连接本地数据库  md5解密是什么意思  夸克投屏为什么那么卡  怎么在项目中使用typescript  折叠屏手机哪个卖得最好  市盈率中的19a是什么意思  路亚竿上的power是什么意思  笔记本电脑多少钱  vs怎么编写typescript  linux如何切换到命令行模式  宵衣旰食是什么意思  1s等于多少ms  typescript哪个最好  typescript中如何定义json  华为交换机 配置 如何复制命令行  单片机怎么连接电路图  折叠手机内屏为什么会坏  typescript怎么传json  交管12123协议头不完整怎么弄  什么是泛域名解析  苹果16有哪些改善  “90后开始失去了”：一个群体童年的消逝  cmd如何定时执行命令  什么是夸克模组文件格式  power在录音笔上是什么意思  如何学好typescript  对象数组怎么用j*a  分享一个稳定的ao3镜像网址  苹果16promax有哪些颜色  爱玛电动车power模式是什么意思  如何利用固态硬盘  苹果16要升级哪些功能  typescript卸载不掉怎么办