对于中型银行,大语言模型应用涉及哪些方面,目前想到的软硬件投入,人员投入,但是更细一级的投入不太了解,例如:硬件投入:是否需要购买专用设备,还是基于现有云平台构建即可,或者不需要与云平台集成,可自己单独建设。软件投入:是否涉及购买大模型服务费用,是否有licence费用,厂商是按照什么模式收费的。人员投入:初期在单个应用的情况下,一般投入多少人员,需要厂商配合投入多少人员。这些投入合计在什么量级的费用?
客服系统首先是可以考虑的应用,其他日常工作流,合规审计类也可以考虑将其作为一个数字助手应用打造,其他业务待探索和挖掘
如果不想处理和云平台的抢资源抢能耗问题,应当单独建设系统;大模型是个计算密集型应用,会消耗所有算力,没有和现有平台复用的价值。
厂商的服务模式我知道有软硬件一体化提供的,也有软件和服务模式的,都不便宜。建议找几家实际了解一下比较靠谱。
更多信息可以参考我最近发的一篇文,从零开始设计大模型基础设施
收起对于中型银行,大语言模型的应用可以涉及以下方面:
在软硬件投入方面,需要考虑以下几个方面:
以上投入合计在数百万到数千万的费用。具体费用取决于银行的规模和需求,以及选择的硬件、软件和人员投入。