来源：量子位
开源AI绘画扛把子，StableDiffusion背后公司StabilityAI再放大招！
全新开源模型DeepFloydIF，一下获星2千+并登上GitHub热门榜。
DeepFloydIF不光图像质量是照片级的，还解决了文生图的两大难题：
准确绘制文字。
以及准确理解空间关系。
星巴克Holiday Cheer Edition 1 Stamp在Odyssey NFT市场售价已达到1000美元:金色财经报道，星巴克Holiday Cheer Edition 1 Stamp在Odyssey NFT市场售价已达到1000美元，据悉该系列发行数量只有5000枚，数据显示自四个月前推出以来目前已在二级市场售出210枚。需要明确的是，星巴克不出售这些NFT，所有者可以在Odyssey NFT市场上相互交易，相关售价只是这些NFT在二级市场上的“交换”价格。此前消息，星巴克将于4月20日推出基于Polygon的NFT系列“First Store Collection”。（The Block）[2023/4/19 14:13:36]
Stark Ware正式发布Stark ExV5.0版:4月18日消息，零知识证明研发机构Stark Ware宣布正式发布用于现货交易的Stark ExV5.0版，支持多资产交易、铸造ERC-1155和ERC-20代币。据Chain Catcher此前报道，2022年6月23日，Stark Ware发布Stark ExV4.5版，支持Volition、ERC-1155和交易捆绑。[2023/4/18 14:10:30]
网友表示，这可是个大事，之前想让Midjourneyv5在霓虹灯招牌上写个字AI都是瞎划拉两笔，对于镜子理解的也不对。
PS积分系统“PlayStation Stars”将于9月下旬在部分地区上线，披露数字藏品实例:9月14日消息，索尼在State of Play发布会中公开了PlayStation平台的积分系统“PlayStation Stars”的部分详情，该系统拟于2022年9月下旬登陆亚洲大部分地区，欧美地区一周后开放，将首先登陆PlayStation App，并在未来扩展到主机平台。
本次发布会中重点介绍了“数字藏品”相关内容，这些数字藏品将根据游戏内容或索尼旗下经典电子产品等制作，是“PlayStation粉丝所喜爱的东西的数字表现形式”，玩家在获得数字藏品后，可以其放置在PlayStation App中的虚拟展示柜中，也可以在PSN资料中向好友展示。据悉，玩家可通过不同方式获取数字藏品，主要的方式是通过完成活动（活动中可获得积分或直接获得）。[2022/9/14 13:28:32]
使用DeepFloydIF，可以把指定文字巧妙放置在画面中任何地方。
WeStarter将于5月25日上线CoinWind白名单兑换:据官方消息，WeStarter将于新加坡时间5月27日19:00上线CoinWind（代币COW），白名单池总兑换额度共140,000枚COW等值7万USDT，本次兑换采用HT进行，用户可通过WeStarter兑换COW。
CoinWind是一个DeFi生态智能挖矿金融平台，通过合约自动将质押的币种进行撮合配对，配合对冲无常损失策略，将用户收益最大化，有效解决用户单币种挖矿收益低、LP挖矿无常损失大等风险问题。[2021/5/20 22:25:48]
霓虹灯招牌、街头涂鸦、服饰、手绘插画，文字都会以合适的字体、风格、排版出现在合理的地方。
动态 | Status最新路线图规划更新，将继续迭代使用体验:基于以太坊的去中心化社交应用Status.im在最近的一次路线图规划会议中，讨论了在Status 1.0版本正式发布后的任务优先级。该优化清单共十几项，但项目组会优先关注于投票最多的前三项，分别是优化聊天体验提供标准化功能如图片发送、推送、@功能等；降低用户使用障碍，解决网络、电池和UI等问题；进一步打磨界面UI，提高响应速度、优化特定功能的体验。[2019/10/21]
这意味着，AI直出商品渲染图、海报等实用工作流程又打通一环。
还在视频特效上开辟了新方向。
目前DeepFloydIF以非商用许可开源，不过团队解释这是暂时的，获得足够的用户反馈后将转向更宽松的协议。
有需求的小伙伴可以抓紧反馈起来了。
像素级图像生成
DeepFloydIF仍然基于扩散模型，但与之前的StableDiffusion相比有两大不同。
负责理解文字的部分从OpenAI的CLIP换成了谷歌T5-XXL，结合超分辨率模块中额外的注意力层，获得更准确的文本理解。
负责生成图像的部分从潜扩散模型换成了像素级扩散模型。
也就是扩散过程不再作用于表示图像编码的潜空间，而是直接作用于像素。
官方还提供了一组DeepFloydIF与其他AI绘画模型的直观对比。
可以看出，使用T5做文本理解的谷歌Parti和英伟达eDiff-1也都可以准确绘制文字，AI不会写字这事就是CLIP的锅。
不过英伟达eDiff-1不开源，谷歌的几个模型更是连个Demo都不给，DeepFloydIF就成了更实际的选择。
具体生成图像上DeepFloydIF与之前模型一致，语言模型理解文本后先生成64×64分辨率的小图，再经过不同层次的扩散模型和超分辨率模型放大。
在这种架构上，通过把指定图像缩小回64×64再使用新的提示词重新执行扩散，也实现以图生图并调整风格、内容和细节。
并且不需要对模型做微调就可直接实现。
另外，DeepFloydIF的优势还在于，IF-4.3B基础模型是目前扩散模型中U-Net部分有效参数是最多的。
在实验中，IF-4.3B取得了最好的FID分数，并达到SOTA。
谁是DeepFloyd
DeepFloydAIResearch是StabilityAI旗下的独立研发团队，深受摇滚乐队平克弗洛伊德影响，自称为一只“研发乐队”。
主要成员只有4人，从姓氏来看均为东欧背景。
这次除了开源代码外，团队在HuggingFace上还提供了DeepFloydIF模型的在线试玩。
我们也试了试，很可惜的是目前对中文还不太支持。
原因可能是其训练数据集LAION-A里面中文内容不多，不过既然开源了，相信在中文数据集上训练好的变体也不会太晚出现。
OneMoreThing
DeepFloydIF并不是StabilityAI昨晚在开源上的唯一动作
语言模型方面，他们也推出了首个开源并引入RLHF技术的聊天机器人StableVicuna，基于小羊驼Vicuna-13B模型实现。
目前代码和模型权重已开放下载。
完整的桌面和移动界面也即将发布。
DeepfloydIF在线试玩：
https://huggingface.co/spaces/DeepFloyd/IF
代码：
https://github.com/deep-floyd/IF
StableVicuna在线试玩：
https://huggingface.co/spaces/CarperAI/StableVicuna
权重下载：
https://huggingface.co/CarperAI/stable-vicuna-13b-delta
参考链接：
https://deepfloyd.ai/deepfloyd-if
https://stability.ai/blog/deepfloyd-if-text-to-image-model
https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot
https://stable-diffusion-art.com/how-stable-diffusion-work/
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。