智能制造網(wǎng)>產(chǎn)品庫(kù)>其他機(jī)械>其他機(jī)械>其他>>本地化部署ChatGLM

本地化部署ChatGLM

參考價(jià)	面議

參考價(jià)

面議

具體成交價(jià)以合同協(xié)議為準(zhǔn)

公司名稱中山市天啟智能科技有限公司
品牌
型號(hào)
所在地
廠商性質(zhì)其他
更新時(shí)間2023/10/18 13:33:17
訪問次數(shù)168

產(chǎn)品標(biāo)簽:

在線詢價(jià)收藏產(chǎn)品點(diǎn)擊查看電話

聯(lián)系我們時(shí)請(qǐng)說(shuō)明是智能制造網(wǎng) 上看到的信息，謝謝!

索取相關(guān)資料

公司介紹主營(yíng)產(chǎn)品

Firefly開源團(tuán)隊(duì)是中山市天啟智能科技有限公司于2014年創(chuàng)立的開源團(tuán)隊(duì)，致力于人工智能、智能硬件、嵌入式開發(fā)、系統(tǒng)開發(fā)、應(yīng)用程序開發(fā)等研發(fā)，擁有開源系列產(chǎn)品、開源社區(qū)與網(wǎng)上商城。Firefly 開源產(chǎn)品包括核心板、行業(yè)主板、行業(yè)整機(jī)、集群服務(wù)器、開發(fā)套件、Station等產(chǎn)品。

展開顯示更多內(nèi)容

智能網(wǎng)關(guān)

產(chǎn)品簡(jiǎn)介在線詢價(jià)

方案背景自ChatGPT發(fā)布以來(lái)，生成式AI在引起了新的浪潮，它影響著各行各業(yè)，為世界帶來(lái)史詩(shī)級(jí)的智能化發(fā)展

本地化部署ChatGLM 產(chǎn)品信息

方案背景

自ChatGPT發(fā)布以來(lái)，生成式AI在引起了新的浪潮，它影響著各行各業(yè)，為世界帶來(lái)史詩(shī)級(jí)的智能化發(fā)展。然而，類ChatGPT的大語(yǔ)言模型極度依賴算力巨大的服務(wù)器，導(dǎo)致目前大部分應(yīng)用只能通過集中調(diào)用API的方式來(lái)應(yīng)用，很難本地化部署。隨著大模型適用領(lǐng)域的擴(kuò)展，大模型登陸邊緣設(shè)備的需求凸顯，越來(lái)越多的行業(yè)需要把大語(yǔ)言模型應(yīng)用在專業(yè)的領(lǐng)域上。在這個(gè)背景下，F(xiàn)irefly推出了基于BM1684X平臺(tái)的大語(yǔ)言模型本地部署的方案，讓邊緣設(shè)備可配置上一顆真正的“智慧”大腦，應(yīng)用于各行各業(yè)。

一，本地化的ChatGLM-6B大語(yǔ)言模型

（1）具有 62 億參數(shù)

采用了由清華大學(xué)的ChatGLM-6B大語(yǔ)言模型，基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)，使用了和 ChatGPT 相似的*技術(shù)，以達(dá)到優(yōu)質(zhì)的效果。

（2）優(yōu)化中文對(duì)話

支持中英雙語(yǔ)的對(duì)話語(yǔ)言模型，并且針對(duì)中文問答和對(duì)話進(jìn)行了優(yōu)化。其開源的訓(xùn)練數(shù)據(jù)量達(dá)到1萬(wàn)億字符的模型

二，高算力AI邊緣計(jì)算主機(jī)EC-A1684XJD4

ChatGLM-6B可部署在Firefly旗下產(chǎn)品AI嵌入式主機(jī)EC-A1684XJD4中，主機(jī)配置了16GB大內(nèi)存，適用于部分大模型的量化部署，可運(yùn)行Ubuntu20.04操作系統(tǒng)，并集成的SOPHONSDK 3.0.0，可充分發(fā)揮BM1684X集成TPU的AI加速能力