如何打造一个拖垮公司的大模型?
2023-09-21 10:20

如何打造一个拖垮公司的大模型?

本文来自微信公众号:特大号 (ID:ITXXXL),作者:小黑羊,题图来自:视觉中国


今年大模型实在太火,如何打造一个拖垮公司的大模型?


不多不少,一共分10步。


第一步:先砸十个亿买卡


做大模型,要有大格局,舍不得孩子套不着狼。



什么X100、Y100……专挑算力强的买。



正规渠道没货了?不能怂!加价也要整起来。



第二步:从顶流公司挖大牛来坐镇首席科学家


必须是业界扛把子级别的大牛,就职于顶流AI公司比如“CloseAI”,经常在各种会议上高光出镜的那种。



能把整个团队都带过来最好,成建制、好管理、出活儿快。



第三步:定战略,当卷王


模型参数至少要万亿级别,当不成卷王,就只能被卷死。



再来个“智算中心”,算力至少达要1000PFLOPS,自己训练完大模型,还能把算力开放出来给同行。



第四步:万事开头难,从数据准备开始全员鸡血加班


数据不够怎么整?公开一部分,自有一部分,交易一部分。



拿到数据后,得清洗处理,全体动员做标注,老板亲自下场,主打一个陪伴。



第五步:开始玩命训练,不出意外的话快出意外了


服务器挂了、存储速度跟不上了、跨卡性能不行、梯度消失、梯度爆炸……



什么?!Checkpoints没保存?反复回退,反复调参,反复排雷。



第六步:内部开始自我修正


问题一多,团队就乱了,人都变得很浮躁。



公司原有的主营业务停滞不前,业绩下滑。



第七步:不管产品行不行,市场宣传要先行一步


“我们来了!”广告要全渠道、全媒体覆盖。



必须要业界感知到我们来势汹汹的霸气。



第八步:生态伙伴少不了,气氛必须搞起来


先结盟5000家合作伙伴,达成意向合作。



第二天,大家联合发发新闻稿,必须让吃瓜群众充满期待。



第九步:大模型终于“练”出来了


练是练出来了,看上去有点不对劲,莫不是个“大傻子”吧?



落地实施,那叫一个难,不知道给谁用,不知道往哪儿用。



第十步:及时止损,人间清醒



然后开始复盘,多么痛的领悟~



大牛来了又走了,算力卡买了又卖了,智算中心建了又拆了,大模型炼了又废了。



本文来自微信公众号:特大号 (ID:ITXXXL),作者:小黑羊

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP