晴仔TRACY
0%

发表 分类

达摩院视觉AI技术应用探索

课程链接：https://developer.aliyun.com/live/2761?spm=a2c6h.14795454.J_4770946980.3.3bbd44bdEFRAIE

简介与理解

1.定义

视觉AI的工作有两大部分：理解与生产。后者涉及三个步骤——一、输入参数或素材；二、过程中生产视觉；三、产出素材或成品。

  • 理解
    进行图像检测、分割等。

  • 生产
    产生新的（和输入不一样的）视觉表达，相当于以技术实现设计师、美工等用PS完成的工作过程。

视觉表达是人或机器能够感知的图像视频，不是用于机器学习的标签或特征。

2.分类

视觉生产的种类很多，以下以简单的方式抽象叙述：

  • 分割
    语义/全景/抠图

  • 生成
    制造/摘要/封面
    从0到1

  • 拓展
    从1到N

  • 摘要
    从N到1

  • 升维
    从An到An+1

  • 增强、变换
    超分/色彩/帧率
    从A到B

  • 编辑
    植入/擦除/互换
    A-B=C

  • 插入、合成
    A+B=C

以上技术的成熟产品有：鹿班、画蝶、视觉智能开放平台等，分别为公共或专有云、客户端应用等

而他们处理的内容有：

  • 3D
  • 视频
  • 图像

通用基础框架

  1. 请求 Request
    输入参数、素材、草案、成品、案例

  2. 分发 Dispatch
    生产不同类型：

     - 通用生成 General
 - 素材合成 Assemble
 - 照图生图 Imitate
 - 视频摘要 Summary
 - 编辑变换 Edit
 - 视觉拓展 Extend

  3. 服务 Service
    使用视觉生产引擎

     - 生成引擎（模型与知识）
 - 搜索引擎（素材与案例）

  4. 响应 Response

    • 输出图像/视频/3D 素材、成品、案例

五个关键维度

要把视觉生产技术投入工业应用，应当达到以下标准：

  1. 可看——满足视觉/美学表现
  2. 合理——合乎语义/内容逻辑
  3. 多样——保证结果的丰富性
  4. 可控——提供用户预期的抓手
  5. 可用——带来用户/商业价值

视觉理解

视觉理解有以下过程：

  • 识别——知道是什么（人？物？）
  • 检测——识别+知道在哪（缺陷检测、多目标检测等）
  • 分割——识别+检测+知道每一个像素是什么
    分割的步骤非常重要，体现在分离复杂的背景和各种遮挡关系，或者提取发丝、镂空等部分。这项工序标注成本高且随精度成倍上升、数据需求量大。

分割抠图

解题思路：拆解复杂问题为粗mask估计和精准mapping；设计丰富数据样本作为统一模型
成果：可达到分割人的头像、头发、人脸等静态分割；人物、动物、车辆、商品、动画等视频动态分割；天空、人物、物体等场景分割，并调整粒度。


视觉生成

1.鹿班

鹿班是一项针对平面图像设计生成的大规模在线AI设计服务，源于阿里巴巴内部，逐渐对外提供服务。包括理需求、定草图、选状态、调戏节、生成图、评好坏的完整流程。鹿班始用于电商，依靠“照图生图”和“个性化设计”，配合AI场景设计能力，进行高效、低成本、美观的场景智能美工。

2.视觉生成AlibabWood

AlibabWood专注于短视频生成，同时具有剧本生成、智能文案、自动简介、智能音乐推荐等功能，完成素材准备、基础特效、智能特效、智能编排四大业内需求。

3.视频摘要与封面

视频摘要（封面生成）包括质量审核、内容分析、图像增强、输出多帧静止图或动图


视觉编辑

1.视频植入

例如插入广告等原视频没有的片段。当中需要进行广告位检测、跟踪、避免屏幕内容遮挡、移位等，并匹配视频细节、光影渲染等，有利于大大挖掘视频价值、扩大植入范围、提高制作效率。

2.内容擦除

例如字幕、台标、广告等擦除，基于精确的视觉分割技术。

3.尺寸变化

需要适配视频画幅比例改变而进行裁剪或补全，改变构图，进行自动化图像（海报等）多尺寸设计。


视觉增强

实例

  1. 人脸修复：突出主要特征信息
  2. 渲染图或视频超分：用于CG，渲染低分辨率图后用AI技术放大成高清图，降低渲染时间
  3. 视频插帧：减少运动场景的视频晃动、在线视频的卡顿感
  4. HDR色彩扩展：增强视觉效果，提升广告等视频表达语义的能力
  5. 风格迁移与颜色拓展：例如名画滤镜等

视觉制造

融合虚实画面，提升生产（打样、沟通）效率、协同性（设计、营销、生成的配合）、定制化（柔性生产）。并结合2D、3D估计、渲染等生成技术。

视觉智能开放平台

网址：vision.aliyun.com
该平台聚合阿里巴巴的图像、视频、3D图形视觉原子能力，提供云上智能API，向广大开发者提供服务，有上百种细分能力，供应链、基础设施、部署场景、定制化服务齐全。

发表 更新 分类

7. 虚函数

《C++编程思想》多态性与虚函数 P.364-390

向上类型转换

  • 仅public继承，隐式

对象切片：

  • 早绑定
  • 派生类对象 –> 基类子对象（丢失派生类新定义部分，应避免使用）
  • 丢失派生类新定义数据，验证：sizeof()，每个int 4位

指针/引用向上转换：

  • 晚绑定

  • 总是安全的

  • 不创建对象，只保留基类接口

阅读全文 »

发表 更新 分类

1. 编程环境

《C++编程思想》3.11 Make：管理分段编译 P.156-169

编译与链接

编译：

（1）语法分析、静态类型检查【源代码–>分析树】

（2）代码生成器遍历【分析树–>汇编语言/机器代码（.o, .obj）】

  • 外部函数声明：void func(); 或 extern void func();
  • 外部变量声明（不分配内存）extern int x;
g++ -c test.cpp -o test.o
阅读全文 »

发表 更新 分类

使用Midway Serverless及MySQL等数据库进行应用开发

作业

添加查看数据条数的功能（src/apis/index.ts）

@Func('todo.count')
async count() {
    const cnt = await this.db.query(`select count(*) from todo`);
    return cnt;
}

配置API网关路径（f.yml)

count:
    handler: todo.count
    events:
      - apigw:
          path: /api/count
阅读全文 »

发表 更新 分类

7天学会ECS

第一课链接：文档【7天学会ECS】
前四部分为Class2-4的总结。

开通云服务器

购买网址：https://ecs-buy.aliyun.com/#/prepay

1.计费方式

包年包月：预付费产品，先购买数月/年ECS产品，后使用。适用于长期稳定使用服务器的场景。例如做网站。
按量付费：后付费产品，保证有100元余额后按量（每小时花费）付费。适用于测试或跑数据。

阅读全文 »

发表 更新 分类

云端搭建Linux学习环境

第四课链接：打开浏览器就能写代码！打造自己的Web IDE（在线开发环境）

1. 为Linux环境安装图形化桌面(Gnome)

云服务器：Gnome + VNC

在CentOS上，先更新系统，下载字体

yum update
yum install wqy-microhei-fonts

然后直接安装Gnome+VNC一键包

wget https://gist.githubusercontent.com/ivmm/d93138038edbd551def09205bb61ae11/raw/8ed82411926acb3ab331d293f6200447ad2c85cf/gnome_install.sh && bash gnome_install.sh
阅读全文 »