对于中型银行,大语言模型应用的投入有哪些,在什么量级?

对于中型银行,大语言模型应用涉及哪些方面,目前想到的软硬件投入,人员投入,但是更细一级的投入不太了解,例如:硬件投入:是否需要购买专用设备,还是基于现有云平台构建即可,或者不需要与云平台集成,可自己单独建设。软件投入:是否涉及购买大模型服务费用,是否有licence费用,厂商是按照什么模式收费的。人员投入:初期在单个应用的情况下,一般投入多少人员,需要厂商配合投入多少人员。这些投入合计在什么量级的费用?

参与9

2同行回答

Eric雪飞Eric雪飞存储专委 副主任上海市计算机学会
客服系统首先是可以考虑的应用,其他日常工作流,合规审计类也可以考虑将其作为一个数字助手应用打造,其他业务待探索和挖掘如果不想处理和云平台的抢资源抢能耗问题,应当单独建设系统;大模型是个计算密集型应用,会消耗所有算力,没有和现有平台复用的价值。厂商的服务模式我知道有...显示全部

客服系统首先是可以考虑的应用,其他日常工作流,合规审计类也可以考虑将其作为一个数字助手应用打造,其他业务待探索和挖掘

如果不想处理和云平台的抢资源抢能耗问题,应当单独建设系统;大模型是个计算密集型应用,会消耗所有算力,没有和现有平台复用的价值。

厂商的服务模式我知道有软硬件一体化提供的,也有软件和服务模式的,都不便宜。建议找几家实际了解一下比较靠谱。

更多信息可以参考我最近发的一篇文,从零开始设计大模型基础设施

收起
IT其它 · 2023-10-10
  • 匿名用户
    https://www.talkwithtrend.com/Article/268173 好文章!
    2023-10-10
匿名用户匿名用户
模型硬件的投入包括训练和推理两部分,根据业务场景、模型参数规模、数据规模、并发量等因素有关。显示全部

模型硬件的投入包括训练和推理两部分,根据业务场景、模型参数规模、数据规模、并发量等因素有关。

收起
软件开发 · 2023-10-10
浏览462

ChatGPT 回答

对于中型银行,大语言模型的应用可以涉及以下方面:

  1. 自然语言处理:大语言模型可以用于自然语言处理,包括文本分类、情感分析、命名实体识别等,可以帮助银行更好地理解客户需求和反馈,提高客户服务质量。
  2. 风险管理:大语言模型可以用于风险管理,包括欺诈检测、信用评估、反洗钱等,可以帮助银行更好地识别和管理风险。
  3. 营销推荐:大语言模型可以用于营销推荐,包括个性化推荐、精准营销等,可以帮助银行更好地满足客户需求,提高销售效率。

在软硬件投入方面,需要考虑以下几个方面:

  1. 硬件投入:大语言模型需要大量的计算资源,因此需要购买专用设备或者基于云平台构建。如果选择购买专用设备,需要考虑设备的规格和数量,以及维护和升级的成本;如果选择基于云平台构建,需要考虑云服务商的选择和费用。
  2. 软件投入:大语言模型需要使用大模型服务,需要考虑服务费用和licence费用。厂商的收费模式一般是按照使用量或者时间收费。
  3. 人员投入:初期在单个应用的情况下,一般需要投入1-2名数据科学家和1名工程师。厂商也需要配合投入相应的技术支持人员。需要考虑人员的薪资和培训成本。

以上投入合计在数百万到数千万的费用。具体费用取决于银行的规模和需求,以及选择的硬件、软件和人员投入。

提问者

yzz
系统运维工程师中信银行

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-10-10
  • 关注会员:3 人
  • 问题浏览:1204
  • 最近回答:2023-10-10
  • X社区推广