OpenAI宣布，推出定製Jalapeño
推理加速器，這是其內部專門開發，與博通合作，針對大型語言模型（LLM）推理加速及代理型人工智慧（AI）設計的晶片，標誌著OpenAI構建自身模型和產品背後全棧戰略的重要一步。
Jalapeño推理加速器配備了固定功能和可編程計算硬體，旨在加速OpenAI大語言模型堆棧的推理過程，為ChatGPT、Codex、OpenAI API、以及其未來基於代理型AI產品提供支持。從概念上講，Jalapeño推理加速器與谷歌的TPU相似，只不過針對的設計對象換成了OpenAI技術棧。雖然TPU既用於訓練也用於推理，但是Jalapeño似乎僅限於推理，訓練工作可能仍然由GPU來完成。
OpenAI表示，Jalapeño是與博通共同打造的多代計算平台中的首個AI加速器，旨在讓先進AI更快、更可靠、更易被更多人使用。其圍繞OpenAI未來LLM推理願景設計，從零開始起步，為行業當前及未來的LLM打造，從設計到生產僅用了九個月的時間就已完成，其中由OpenAI的模型加速。初步測試顯示，Jalapeño作為第一代加速器，每瓦性能遠優於現有最先進的設備。
未來Jalapeño將與數據中心合作夥伴以千兆瓦規模、跨越多代部署，並擴展至OpenAI的全棧平台，從產品到模型，再擴展到晶片。
