การพัฒนา AI Deepseek: Debunking ตำนานความสามารถในการจ่ายได้ที่ 1.6 พันล้านดอลลาร์

อย่างไรก็ตามมันยังคงถูกกว่าคู่แข่ง

Chatbot ใหม่จาก Deepseek แนะนำตัวเองให้ฉันด้วยคำอธิบายที่น่าสนใจนี้:

สวัสดีฉันถูกสร้างขึ้นเพื่อให้คุณสามารถถามอะไรก็ได้และรับคำตอบที่อาจทำให้คุณประหลาดใจ

วันนี้ปัญญาประดิษฐ์ของ Deepseek ได้กลายเป็นคู่แข่งที่น่าเกรงขามในตลาดโดยเฉพาะอย่างยิ่งมีส่วนทำให้ราคาหุ้นที่ใหญ่ที่สุดของ Nvidia ลดลง

รูปภาพ: Ensigame.com

สิ่งที่ทำให้โมเดลนี้แตกต่างคือสถาปัตยกรรมที่เป็นนวัตกรรมและวิธีการฝึกอบรม มันรวมเอาเทคโนโลยีขั้นสูงหลายอย่าง:

Multi-Token Prediction (MTP): ซึ่งแตกต่างจากแบบจำลองดั้งเดิมที่ทำนายคำทีละคำได้แบบจำลองของ Deepseek คาดการณ์หลายคำพร้อมกันโดยการวิเคราะห์ส่วนต่าง ๆ ของประโยค วิธีการนี้ช่วยเพิ่มความแม่นยำและประสิทธิภาพของแบบจำลองอย่างมีนัยสำคัญ

ส่วนผสมของผู้เชี่ยวชาญ (MOE): สถาปัตยกรรมนี้ใช้เครือข่ายประสาทหลายแห่งเพื่อประมวลผลข้อมูลอินพุต ด้วยการใช้ MOE เทคโนโลยีจะเร่งการฝึกอบรม AI และปรับปรุงประสิทธิภาพ ใน Deepseek V3 มีการใช้เครือข่ายประสาท 256 แห่งที่น่าประทับใจโดยมีการเปิดใช้งานแปดรายการสำหรับงานประมวลผลโทเค็นแต่ละงาน

ความสนใจแฝงหลายหัว (MLA): กลไกนี้ช่วยให้แบบจำลองมุ่งเน้นไปที่ส่วนที่สำคัญที่สุดของประโยค MLA แยกรายละเอียดที่สำคัญจากชิ้นส่วนข้อความซ้ำ ๆ ลดโอกาสในการขาดข้อมูลที่สำคัญ สิ่งนี้ช่วยเพิ่มความสามารถของ AI ในการจับความแตกต่างที่สำคัญในข้อมูลอินพุต

การเริ่มต้นของจีนที่โดดเด่น Deepseek อ้างว่าได้สร้างแบบจำลอง AI ที่มีการแข่งขันด้วยค่าใช้จ่ายน้อยที่สุดโดยระบุว่าพวกเขาใช้เงินเพียง 6 ล้านเหรียญสหรัฐในการฝึกอบรมเครือข่ายประสาทที่ทรงพลัง Deepseek V3 และใช้โปรเซสเซอร์กราฟิกเพียง 2048

รูปภาพ: Ensigame.com

อย่างไรก็ตามนักวิเคราะห์จาก Semianalysis ค้นพบว่า Deepseek ดำเนินการโครงสร้างพื้นฐานการคำนวณขนาดใหญ่ซึ่งประกอบด้วย GPU Nvidia Hopper ประมาณ 50,000 Nvidia ซึ่งรวมถึง 10,000 H800 หน่วย, H100s ขั้นสูง 10,000 และแบตช์เพิ่มเติมของ H20 GPU ทรัพยากรเหล่านี้มีการกระจายไปทั่วศูนย์ข้อมูลหลายแห่งและใช้สำหรับการฝึกอบรม AI การวิจัยและการสร้างแบบจำลองทางการเงิน

การลงทุนทั้งหมดของ บริษัท ในเซิร์ฟเวอร์มีมูลค่าประมาณ 1.6 พันล้านดอลลาร์โดยมีค่าใช้จ่ายในการดำเนินงานอยู่ที่ 944 ล้านดอลลาร์

Deepseek เป็น บริษัท ในเครือของกองทุนป้องกันความเสี่ยงของจีนซึ่งหมุนตัวออกจากการเริ่มต้นเป็นแผนกแยกต่างหากที่มุ่งเน้นไปที่เทคโนโลยี AI ในปี 2566 ซึ่งแตกต่างจากผู้ที่เพิ่งเริ่มต้นส่วนใหญ่ที่ให้เช่าพลังการคำนวณจากผู้ให้บริการคลาวด์ Deepseek เป็นเจ้าของศูนย์ข้อมูลของตัวเอง บริษัท ยังคงได้รับเงินสนับสนุนตนเองซึ่งส่งผลกระทบในเชิงบวกต่อความยืดหยุ่นและความเร็วในการตัดสินใจ

รูปภาพ: Ensigame.com

นอกจากนี้นักวิจัยบางคนที่ Deepseek ได้รับมากกว่า $ 1.3 ล้านต่อปีดึงดูดความสามารถระดับสูงจากมหาวิทยาลัยจีนชั้นนำ (บริษัท ไม่ได้จ้างผู้เชี่ยวชาญต่างประเทศ)

แม้จะพิจารณาเรื่องนี้การเรียกร้องการฝึกอบรมล่าสุดของ Deepseek ในราคาเพียง 6 ล้านเหรียญดูเหมือนไม่สมจริง ตัวเลขนี้หมายถึงค่าใช้จ่ายของการใช้ GPU ในระหว่างการฝึกอบรมก่อนและไม่ได้บัญชีสำหรับค่าใช้จ่ายในการวิจัยการปรับแต่งแบบจำลองการประมวลผลข้อมูลหรือต้นทุนโครงสร้างพื้นฐานโดยรวม

นับตั้งแต่ก่อตั้งขึ้น Deepseek ได้ลงทุนกว่า 500 ล้านดอลลาร์ในการพัฒนา AI อย่างไรก็ตามแตกต่างจาก บริษัท ขนาดใหญ่ที่เป็นภาระโดยระบบราชการโครงสร้างขนาดกะทัดรัดของ Deepseek ช่วยให้สามารถใช้นวัตกรรม AI ได้อย่างแข็งขันและมีประสิทธิภาพ

รูปภาพ: Ensigame.com

ตัวอย่างของ Deepseek แสดงให้เห็นว่า บริษัท AI อิสระที่ได้รับการสนับสนุนอย่างดีสามารถแข่งขันกับผู้นำอุตสาหกรรมได้ อย่างไรก็ตามผู้เชี่ยวชาญเน้นว่าความสำเร็จของ บริษัท ส่วนใหญ่เกิดจากการลงทุนหลายพันล้านครั้งการพัฒนาทางเทคนิคและทีมที่แข็งแกร่งในขณะที่อ้างว่าเกี่ยวกับ "งบประมาณปฏิวัติ" สำหรับการพัฒนาแบบจำลอง AI นั้นค่อนข้างเกินจริง

ถึงกระนั้นค่าใช้จ่ายของคู่แข่งยังคงสูงขึ้นอย่างมาก ตัวอย่างเช่นเปรียบเทียบค่าใช้จ่ายในการฝึกอบรมแบบจำลอง: Deepseek ใช้จ่าย $ 5 ล้านใน R1 ในขณะที่ CHATGPT4O มีราคา $ 100 ล้าน