英特尔发布深度学习推理工具OpenVINO 2023.0 提升部署效率
时间:2023-06-05 16:04:02来源:TechWeb

6月5日消息,在OpenVINO™工具套件发布五周年之际,英特尔开展OpenVINO™ DevCon中国系列工作坊2023活动,旨在通过每月一次的工作坊,持续助力开发者系统学习、稳步提升。基于此,英特尔成功举办了首期以“焕然五周年•瞰见新特性”为主题的OpenVINO™ DevCon 2023系列活动,并在此次活动上发布了功能更加强大的全新英特尔®OpenVINO™ 2023.0版本,以期在更大程度上帮助AI开发者简化工作流程,提升部署效率。

作为一款深度学习推理工具,OpenVINO™已帮助数十万开发者大幅提升了AI推理性能,使其仅凭借几行代码即可实现高性能“一次编写,任意部署”,并自动为开发者选择最佳硬件配置,提升开发效率。由于OpenVINO™能够使训练好的神经网络模型在不同硬件平台上进行高效且准确的推理,这项技术已被广泛应用于教育、零售、医疗和工业等各个领域,为行业客户提供了高效的深度学习推理技术,带来了巨大价值。例如,在试卷批改场景中,学生和老师在铺有点码试卷上书写的笔迹可通过智慧笔进行实时搜集,随后分别被上传到云端服务器上。云端渲染服务器会将笔迹渲染成图像,并进一步通过目标检测模型和OCR模型检测识别,将书写内容转换为文本,最后将识别结果与题库进行综合整理,生成作业报告。老师可以基于作业报告,针对学生进行个性化教学。在此过程中,通过 OpenVINO™精度感知而量化出的模型推理速度相比于浮点模型有十几倍的提升,且量化模型的召回率和准确率与浮点模型相当,在满足精度要求的情况下,达到了推理实时性的要求。

自2018年首发OpenVINO™工具套件以来,英特尔密切关注市场需求,着眼未来发展趋势,持续迭代更新,将其对模型的支持从计算机视觉扩展到自然语言处理,不断赋予其更高性能,使其更加易用、更加灵活、更加开放和更加全面。英特尔基于此次活动发布的OpenVINO™ 2023.0版本在以往的基础上,新增了以下优势:

●更多的集成,最大限度减少代码变更:OpenVINO™ 2023.0使从训练模型转移到部署的过程变得更加轻松。在优化模型时,开发者无需离线转换TensorFlow模型,而是可以自动进行。开发者可采用标准的TensorFlow模型,并将其直接加载到OpenVINO™ Runtime或OpenVINO™ Model Server中。当需要最大性能时,仍然鼓励离线转换为OpenVINO™格式。

●更广泛的模型支持:OpenVINO™ 2023.0具备更广泛的生成式AI模型(CLIP BLIP、Stable Diffusion 2.0等)、文本处理模型(GPT、Transformer模型等)及其他关键模型(Detectron2、PaddleSlim、RNN-T等)的支持。开发者在利用GPU(CPU于2022年启用)时不再需要更改为静态输入,这使其在编码方面具有更大灵活性。与此同时,神经网络压缩框架(NNCF)成为量化工具的一种选择。通过压缩模型中的数据,可以更轻松地实现大幅模型性能改进。

●出色的可移植性和性能:CPU设备插件现在在英特尔®第12代酷睿处理器及以上版本上提供线程调度,开发者可根据应用程序的优先级选择在E核、P核或两者上运行推理,根据需要优化性能或节能。此外,无论开发者使用哪种插件,OpenVINO™都将默认提供最佳性能格式。同时,OpenVINO™ 2023.0还通过更高效的模型加载/编译改进了GPU上的模型缓存。

除了针对OpenVINO™的持续更新迭代,英特尔还于近期发布了“英特尔® Developer Cloud for the Edge”平台公众测试版。该平台可满足开发者访问英特尔最新架构CPU、GPU、VPU和FPGA等硬件资源的需要,无需配置即可调用英特尔最新OpenVINO™工具套件等其他软件资源。同时,该平台还支持容器化和裸机应用部署,可确保开发者获得真实性能数据,加速人工智能方案开发、验证与部署落地过程,提高应用开发效率和产品选型优化。“英特尔® Developer Cloud for the Edge”平台将持续优化中国区用户体验,引入本地参考实现和相关边缘设备,扩建基础服务硬件以支撑更多用户访问,满足不同用户对测试设备多样性的需求。

标签: 英特尔

生活指南
  • 如何取消电脑系统的自动更新?电脑怎么还原系统?

    如何取消电脑系统的自动更新?自己在上网的时候,经常会提示有更新,

  • 每日消息!漯河市“三夏”生产工作调度会议召开

    5月31日,漯河市召开三夏生产工作调度会议,深入贯彻落实省、市三夏

  • 阿迪达斯是哪个国家的?阿迪达斯的广告语是什么?_世界时讯

    阿迪达斯是哪个国家的德国adidas(阿迪达斯)创办于1949年,是德国运

  • 即时焦点:win7桌面文件路径怎么修改?win7怎么把桌面文件路径改到d盘?

    win7桌面文件路径怎么修改?1、首先,在D盘或是E盘新建一个名字为桌

  • 正当防卫4破坏天线任务怎么做?正当防卫4登录失败怎么解决?

    正当防卫4破坏天线任务怎么做?1、进入游戏后我们选择破坏天线这个任务,这时候剧情任务会让我们带领两名

  • 全球热文:中国最大的膏药批发市场在哪? 仙佑膏药的疗效和临床试验

    随着人们对健康问题的日益关注,膏药行业也在不断发展壮大。膏药是一种传统的中药制品,具有多种功效,

  • 信用卡逾期后要如何申请停息挂账?什么时候申请停息挂账?

    信用卡逾期后要如何申请停息挂账?信用卡逾期办理停息挂账唯一的办法就是向银行申请,可以在逾期以后联系

  • b2压大饼是什么?b2压大饼取消了吗?

    b2压大饼是什么?B2压大饼的口诀是看到大饼车先慢目测距离来判断;看前想后全顾及车身靠着外侧行。以下是B

  • 科创板上市首日是否可以融资融券?科创板上市首日临停规则是什么?

    科创板上市首日是否可以融资融券?科创板上市首日是可以进行融资融券交易的,因为其前5个交易日无涨跌幅

  • 山楂干泡水喝一次放几片?山楂干和什么一起泡水喝对身体好?

    山楂干泡水喝一次放几片建议5片即可。虽然用山楂干泡水喝其数量没有严格规定,多一点少一点影响不大,但

  • 什么是东数西算概念股?东数西算股票代码是什么?

    什么是东数西算概念股?东数西算是指将数据中心、云计算、大数据等一切需要算力的网络体系引导到西部完成

  • 生育险怎么查询明细?生育保险怎么报销呀?

    生育险怎么查询明细?可以通过以下几种方式查询生育险的明细:1、用户可以通过拨打电话查询生育险的明细

  • 凉薯吃法有哪些 凉薯和什么一起炒好吃?

    想必现在有很多小伙伴对于凉薯吃法有哪些是什么方面的知识都比较想要了解,那么今天小好小编就为大家收

  • 氯气有毒吗?闻了一大口氯气怎么办?

    氯气有毒,是一种黄绿色的刺激性气体,会对皮肤、眼睛粘膜和呼吸道造成损伤。如果吸入氯气的量较多,患

  • 一加Ace2V怎么关闭hd功能?一加ace2好还是一加ace2v好?

    一加Ace2V怎么关闭hd功能?打开一加Ace 2V手机设置面板,点击 通知与状态栏 图标。点击 状态栏 。点

  • 南开大学滨海学院是民办大学吗?南开大学滨海学院重点专业有哪些?

    南开大学滨海学院是民办大学吗?南开大学滨海学院是民办大学。南开大学滨海学院是2004年经教育部批准设立

  • 民生
    • 买车分期付款的条件是什么?买车分期需要什么手续?-全球观察

    • 天天热资讯!促使股票上涨的因素有哪些?油价上涨哪些股票会受益呢?

    • 信用卡逾期一个月会怎么样?信用卡逾期有什么后果?

    • excel怎么合并单元格?Excel合并单元格如何填充序号?