Computer Vision / Multimodal ML
Computer vision / multimodal AI / side projects
AI Researcher at Ant Group / M.S., Beihang University
I work on computer vision and multimodal AI, especially digital humans and visual generation. Outside work, I build small products and write about technology, games, economics, and history.
在原生端到端语音模型出现之前，语音助手通常采用上一代的级联式工作流：
1 | 用户语音 → ASR 转写 → LLM 生成文本 → TTS 合成语音 |
这套 workflow 把识别、推理和合成拆成三个可独立替换、监控与审核的模块，至今仍适用于模块边界优先的生产系统。它的问题集中在模块之间：ASR 错误会传入 LLM；语气、节奏与环境声无法完整保留在转写文本中；LLM 通常要等待可用转写，TTS 又要等待可用文本；加入视频后，声音与画面还需要由系统层维护同一时间坐标。
Qwen-Audio 到 Qwen3.5-Omni 的演进，可以看作这些外部接口逐步被移入模型：先让波形绕过 ASR 直接进入语言模型，再把音频与视频放到同一时间轴，随后加入文本与语音的并行生成，最后把轮次判断、语义打断和工具调用纳入实时交互。区分各代模型不能只看“支持了几种模态”，还要看五条数据路径：波形以多大的时间粒度进入语言模型；音频与视频怎样获得同一时间位置；文本 token 与语音 token 如何同步；流式输出必须等待多少上下文；模型在说话时怎样处理新输入。下面沿着这些接口逐代展开。
more >>《影响力》中有一个名为“稀缺”的篇章，其中讲过好几个例子，都反映了一个很有趣的现象：有时候反复强调要禁止某个事物，反而会起到完全相反的效果。比如，写着“禁止倒垃圾”的地方更容易堆满垃圾，出台禁酒令之后反而越禁越喝。此类现象都揭示了一种朴素的人类心理——越禁止，越渴望；越限制，越反抗。
我之所以想看《看见》，很大程度上也是因为这种朴素的逆反心理。如果这本书一直安安静静地躺在书店里，我大概根本不会想起它；被要求下架之后，我反而突然产生了好奇：它究竟写了什么，以至于连被人看见都成了一件需要阻止的事？
这个阅读动机说不上高尚，甚至有点幼稚。像一个人原本不想进那扇门，但有人突然在门上挂了一把锁，他便非要凑过去看看锁孔里有什么。可真正翻开之后，事情就不再只是“越不让我看，我越要看”了。我的注意力很快从这本书为什么被禁，转向了书里那些曾经真实地生活、挣扎，却差一点没有被看见的人。
more >>这个项目一开始并不“宏大”：我只是想做一台能远程控制、能看视频、后续还能接机械臂的小车。
真正做起来后，发现它不是一个“写几段控制代码”的问题，而是一个典型的系统工程：主控怎么选、供电怎么拆、控制协议怎么留扩展位、机械结构和软件接口怎么对齐。
这篇文章更像一次完整的工程学习记录：为什么这样设计、踩了哪些坑、以及这些取舍背后的逻辑。
项目代码已经开源在 GitHub：
https://github.com/yuange250/SmartCar
论文地址：https://arxiv.org/abs/2602.13344
说明：这是一篇论文学习记录，我是阅读者，不是本文作者。内容以原文信息为主，辅以我的理解与重组，尽量保留细节方便后续复习。
more >>《鱿鱼游戏3》播完之后，我有一个很强烈的感受：这一季的戏剧冲突还在，但“游戏设计本身”已经明显不如前两季抓人。
原因并不复杂：一个游戏如果想长期有张力，不只是要“刺激”，还要在规则层面有稳定的博弈空间。换句话说，它得让玩家不断面对真实、持续、可计算的策略选择，而不是只靠剧情强行推进。
所以这篇文章想做一件事：
借《鱿鱼游戏3》里的三个核心关卡，系统地聊聊纳什均衡，以及它为什么会直接决定一个游戏好不好看、耐不耐玩。
近年来随着国内经济进入下行周期，《大衰退》突然爆火于国内的各大图书榜单。”日本消失的三十年就是中国经济的先遣服”，类似这样的言论至嚣尘上。
出于学习的态度，最近我也读了一下这本书，那下面就让我们看看，辜朝明先生的这部名作，是否真的是对国内当下以及未来经济的预言。
tag:
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true