Chuyển đến nội dung

AI trên thiết bị là gì? Vì sao điện thoại chạy AI không cần mạng

AI trên thiết bị là gì, khác AI đám mây ra sao? Hiểu chip NPU, cách thu nhỏ mô hình, học liên kết và cách dùng AI ngay trong điện thoại an toàn.

Mỗi ngày bạn chạm vào một trí tuệ nhân tạo hàng trăm lần mà gần như không để ý: bàn phím điện thoại. Bạn gõ “con đang”, ba chữ “về”, “ăn”, “học” hiện ra ngay phía trên. Điều thú vị là phép đoán đó thường không cần gửi gì lên Internet. Nó diễn ra ngay trong chiếc máy trên tay bạn, và đó là ví dụ dễ thấy nhất của AI trên thiết bị.

Câu trả lời ngắn: AI trên thiết bị (on-device AI) là mô hình trí tuệ nhân tạo chạy trực tiếp trên điện thoại, laptop, camera hay robot, thay vì gửi dữ liệu lên máy chủ đám mây để xử lý. Nhờ chip NPU và mô hình được thu nhỏ, AI có thể trả lời nhanh, chạy khi mất mạng và giữ dữ liệu cá nhân ở lại trong máy.

Bài viết này đi xa hơn chiếc bàn phím: bạn sẽ hiểu AI trên thiết bị khác AI đám mây ở đâu, chip NPU là gì, các hãng “nhét” mô hình AI vào điện thoại bằng cách nào, học liên kết bảo vệ tin nhắn ra sao, và những giới hạn bạn nên biết.

Nếu muốn bắt đầu từ ví dụ quen thuộc nhất, bạn có thể xem video giải thích bàn phím điện thoại đoán chữ thế nào của kênh Vọc Sĩ trước, rồi quay lại đọc phần mở rộng bên dưới.

Tóm tắt nhanh

  • AI trên thiết bị là AI chạy ngay trong máy của bạn, không cần gửi dữ liệu lên đám mây cho từng yêu cầu.
  • Bàn phím đoán chữ, mở khoá bằng khuôn mặt, xử lý ảnh chụp đêm đều là AI trên thiết bị.
  • Chip NPU là “bộ não phụ” chuyên tính toán cho AI, tiết kiệm điện hơn CPU và GPU.
  • Mô hình được thu nhỏ bằng lượng tử hoá, chưng cất và cắt tỉa để vừa bộ nhớ điện thoại.
  • Học liên kết giúp AI học từ hàng triệu máy mà nội dung riêng, về nguyên tắc, vẫn nằm trên máy.
  • Đổi lại, mô hình nhỏ kém thông minh hơn mô hình lớn trên đám mây, nên nhiều hãng chọn cách lai.

Nội dung chính:

  1. AI trên thiết bị là gì?
  2. Bàn phím đoán chữ: AI trên thiết bị quen thuộc nhất
  3. AI trên thiết bị khác AI đám mây thế nào?
  4. Vì sao các hãng đưa AI xuống thiết bị?
  5. Chip NPU là gì?
  6. Làm sao nhét mô hình AI vào điện thoại?
  7. Học liên kết: AI học từ bạn mà không lấy tin nhắn
  8. AI trên thiết bị đang có ở đâu?
  9. Giới hạn và hiểu lầm về AI trên thiết bị
  10. Cách kiểm tra và tận dụng AI trên thiết bị
  11. Câu hỏi thường gặp

AI trên thiết bị là gì?

Hầu hết chatbot nổi tiếng hoạt động theo kiểu “gọi món mang về”: bạn gõ câu hỏi, câu hỏi được gửi qua Internet đến một trung tâm dữ liệu đầy máy chủ, mô hình khổng lồ ở đó tính toán rồi gửi câu trả lời về. Cách này gọi là AI đám mây (cloud AI).

AI trên thiết bị giống “tự nấu ở nhà”. Nguyên liệu (dữ liệu của bạn) không rời căn bếp (chiếc máy), đầu bếp (mô hình AI) đứng sẵn trong bếp. Món có thể không cầu kỳ bằng nhà hàng năm sao, nhưng ra nhanh, không tốn phí giao hàng và không ai ngoài bạn biết bạn ăn gì.

Trong giới kỹ thuật, khái niệm rộng hơn là edge AI, tức AI ở “rìa mạng”: chạy trên thiết bị nằm sát người dùng hoặc sát cảm biến, như camera an ninh, ô tô, robot, máy móc trong nhà máy. AI trên điện thoại chỉ là một nhánh của edge AI.

Ví von AI trên thiết bị như tự nấu ở nhà, AI đám mây như gọi món mang về
AI trên thiết bị xử lý ngay trong máy, AI đám mây gửi yêu cầu đi xa rồi chờ kết quả.

Cần nói rõ: “trên thiết bị” không có nghĩa thiết bị tự nghĩ ra mô hình. Mô hình vẫn được huấn luyện trên máy chủ mạnh, rồi được tải về máy bạn. Phần chạy trên máy là suy luận (inference): dùng mô hình đã học để đoán chữ, nhận ra khuôn mặt hay làm nét ảnh.

Bàn phím đoán chữ: AI trên thiết bị quen thuộc nhất

Câu chuyện bắt đầu từ trước cả điện thoại cảm ứng. Thời bàn phím số, mỗi phím chứa ba bốn chữ cái; muốn gõ chữ C phải bấm ba lần. Cuối thập niên 1990, T9 (Text on 9 keys, gõ chữ trên chín phím) xuất hiện: bạn bấm mỗi phím một lần, máy tự tra từ điển xem chuỗi phím đó khớp với từ nào phổ biến nhất. Lần đầu tiên, máy đoán thay vì chỉ ghi lại.

Đoán chữ tiếp theo bằng xác suất

Bàn phím ngày nay giống một người thư ký đã đọc hàng triệu tin nhắn. Sau chữ “chúc”, người ấy biết chữ “mừng” hay xuất hiện; sau “chúc mừng” là “sinh nhật”. Máy học từ kho văn bản khổng lồ xem chữ nào thường đứng sau chữ nào, rồi xếp hạng các khả năng. Ba ô gợi ý bạn thấy chính là ba lựa chọn có xác suất cao nhất. Bàn phím hiện đại còn dùng mạng nơ-ron nhỏ để nhìn cả đoạn câu phía trước, chứ không chỉ một hai chữ cuối.

Tự sửa lỗi nhờ vị trí ngón tay

Khi bạn định gõ “nhà” mà ra “nhs” vì phím S nằm ngay cạnh phím A, bàn phím tự hỏi hai câu: chữ nào gần giống chuỗi phím này nhất xét theo khoảng cách giữa các phím, và chữ nào hợp với câu đang viết nhất. Kết hợp hai câu trả lời, nó lặng lẽ thay thành “nhà”.

Học theo thói quen của riêng bạn

Nếu bạn hay gọi bạn thân bằng một biệt danh lạ, lúc đầu máy sửa sai, nhưng sau vài lần bạn bấm hoàn tác, từ ấy được ghi vào từ điển riêng. Bàn phím giống chiếc áo may đo, càng mặc càng vừa. Toàn bộ quá trình này diễn ra trong vài phần nghìn giây, ngay trên máy: nếu mỗi lần gõ một chữ đều phải chờ máy chủ trả lời, bàn phím sẽ giật và tốn dữ liệu di động.

Sơ đồ bàn phím điện thoại đoán chữ: nhận phím, tính xác suất, gợi ý ba từ, học thói quen
Một lần chạm phím đi qua bốn chặng, tất cả chạy ngay trên điện thoại.

Video của Vọc Sĩ chốt một ý đáng nhớ: những chatbot đình đám hôm nay cũng xuất phát từ ý tưởng “đoán chữ tiếp theo”, chỉ ở quy mô lớn hơn rất nhiều. Bàn phím là một mô hình ngôn ngữ tí hon; chatbot là mô hình ngôn ngữ lớn. Bạn có thể đọc thêm về khác biệt quy mô này trong bài LLM là gì.

AI trên thiết bị khác AI đám mây thế nào?

Hai cách không loại trừ nhau. Mỗi cách mạnh ở một chỗ, và sản phẩm thực tế thường dùng cả hai. Điểm khác biệt lớn nhất nằm ở nơi dữ liệu được xử lý: trong máy bạn, hay trên máy chủ của nhà cung cấp.

So sánh AI trên thiết bị và AI đám mây
Tiêu chí AI trên thiết bị AI đám mây
Nơi xử lý Ngay trên điện thoại, laptop, camera Máy chủ trong trung tâm dữ liệu
Cần Internet Không bắt buộc Bắt buộc
Độ trễ Rất thấp, không chờ mạng Phụ thuộc tốc độ mạng và tải máy chủ
Độ thông minh Vừa phải, mô hình nhỏ Cao, mô hình rất lớn
Dữ liệu cá nhân Thường ở lại trong máy Được gửi đi để xử lý
Chi phí cho hãng Người dùng “trả” bằng pin và chip Hãng trả tiền máy chủ, điện, làm mát
So sánh ưu nhược điểm AI trên thiết bị và AI đám mây về tốc độ, riêng tư, độ thông minh
Không có bên thắng tuyệt đối: thiết bị nhanh và riêng tư, đám mây mạnh và linh hoạt.

Vì vậy xu hướng chung là AI lai (hybrid AI): việc nhẹ, nhạy cảm, cần tức thì thì làm trên máy; việc nặng như viết bài dài, phân tích tài liệu lớn thì gửi lên đám mây. Bạn có thể hình dung như một văn phòng có trợ lý ngồi ngay cạnh bàn để xử lý việc vặt, còn việc khó mới gửi lên phòng chuyên môn ở tầng trên.

Vì sao các hãng đưa AI xuống thiết bị?

Nếu đám mây thông minh hơn, vì sao Apple, Google, Samsung, Microsoft và các hãng chip đều đua nhau đưa AI vào máy? Có bốn lý do chính.

1. Riêng tư

Tin nhắn, ảnh, giọng nói, khuôn mặt là dữ liệu nhạy cảm. Xử lý ngay trên máy nghĩa là dữ liệu không phải đi qua mạng, giảm nguy cơ bị lộ hay bị dùng sai mục đích. Đây là lý do mở khoá bằng khuôn mặt hay vân tay luôn xử lý trên thiết bị.

2. Tốc độ

Không phải chờ dữ liệu đi về giữa máy và máy chủ, phản hồi gần như tức thì. Với bàn phím, camera hay xe tự hành, chậm vài trăm phần nghìn giây đã là khác biệt lớn.

3. Chạy khi mất mạng

Trên máy bay, vùng sóng yếu hay khi hết dung lượng 4G, AI trên thiết bị vẫn làm việc: dịch văn bản ngoại tuyến, nhận dạng giọng nói, phân loại ảnh trong thư viện.

4. Chi phí

Mỗi câu hỏi gửi lên đám mây tốn tiền điện và máy chủ cho nhà cung cấp. Khi hàng tỷ thiết bị tự xử lý phần việc nhẹ, hãng tiết kiệm được rất nhiều, và người dùng có thể dùng tính năng mà không cần trả phí thuê bao.

Bốn lợi ích của AI trên thiết bị: riêng tư, tốc độ, chạy ngoại tuyến, tiết kiệm chi phí
Bốn lý do khiến các hãng đưa AI xuống điện thoại và laptop.

Chip NPU là gì? Bộ não phụ dành riêng cho AI

Mô hình AI về bản chất là hàng triệu đến hàng tỷ phép nhân và cộng ma trận. CPU làm được, nhưng giống một người quản lý giỏi việc gì cũng làm được mà không nhanh việc nào. GPU làm nhanh hơn nhờ hàng nghìn lõi tính song song (xem bài GPU là gì, vì sao GPU chạy AI), nhưng tốn điện, không hợp với pin điện thoại.

NPU (Neural Processing Unit, bộ xử lý nơ-ron) là khối chip được thiết kế chỉ để chạy các phép tính của mạng nơ-ron, với độ chính xác vừa đủ và mức điện năng thấp. Nếu CPU là người quản lý, GPU là đội công nhân đông, thì NPU là dây chuyền chuyên dụng chỉ làm một loại sản phẩm nhưng làm cực nhanh và tiết kiệm.

So sánh CPU, GPU và NPU: vai trò, điểm mạnh và mức tiêu thụ điện khi chạy AI
CPU, GPU và NPU cùng nằm trong một con chip điện thoại nhưng mỗi khối giỏi một việc.

TOPS là gì?

Sức mạnh NPU thường đo bằng TOPS (tera operations per second), tức số nghìn tỷ phép tính mỗi giây. Ví dụ, Microsoft yêu cầu laptop mang nhãn Copilot+ PC (công bố tháng 5/2024) phải có NPU từ 40 TOPS trở lên. Tuy vậy, TOPS chỉ là con số trên giấy: hiệu năng thật còn phụ thuộc bộ nhớ, phần mềm và cách hãng tối ưu mô hình, nên đừng so hai máy chỉ bằng TOPS.

Vài cột mốc của AI trên thiết bị

Cuối thập niên 1990, T9 đoán từ bằng từ điển. Năm 2017, Apple đưa Neural Engine vào chip A11 Bionic của iPhone 8 và iPhone X, phục vụ mở khoá Face ID; cùng năm, Google công bố học liên kết để huấn luyện bàn phím Gboard. Tháng 12/2023, Google đưa mô hình Gemini Nano lên Pixel 8 Pro. Năm 2024, Microsoft ra Copilot+ PC và Apple giới thiệu Apple Intelligence với mô hình chạy trên máy cỡ khoảng 3 tỷ tham số.

Dòng thời gian AI trên thiết bị từ T9, Neural Engine 2017 đến Gemini Nano và Copilot+ PC
Từ từ điển T9 đến mô hình ngôn ngữ chạy trên điện thoại.

Làm sao nhét mô hình AI vào điện thoại?

Mô hình ngôn ngữ lớn có thể có hàng trăm tỷ tham số, cần cả dàn máy chủ. Điện thoại thường chỉ có 8–16 GB RAM dùng chung cho cả hệ điều hành và ứng dụng. Muốn AI chạy trên máy, kỹ sư phải “ép cân” mô hình bằng ba kỹ thuật chính.

Lượng tử hoá: viết số gọn hơn

Mỗi tham số là một con số. Thông thường nó được lưu bằng 16 bit (2 byte). Lượng tử hoá (quantization) làm tròn các con số đó xuống 8 bit hoặc 4 bit, giống viết 3,14 thay cho 3,14159265. Mô hình 7 tỷ tham số ở 16 bit cần khoảng 14 GB; ở 4 bit chỉ còn khoảng 3,5 GB, vừa với điện thoại tầm cao. Đổi lại, độ chính xác giảm một chút.

Biểu đồ dung lượng mô hình 7 tỷ tham số ở 16 bit, 8 bit và 4 bit sau lượng tử hoá
Cùng một mô hình 7 tỷ tham số, lượng tử hoá giảm dung lượng tới 4 lần (tính toán lý thuyết).

Chưng cất: thầy lớn dạy trò nhỏ

Chưng cất tri thức (knowledge distillation) cho một mô hình lớn làm “thầy”, trả lời hàng loạt câu hỏi; mô hình nhỏ làm “trò”, học cách bắt chước câu trả lời của thầy. Trò không biết hết những gì thầy biết, nhưng giữ được phần lớn kỹ năng ở kích thước nhỏ hơn nhiều.

Cắt tỉa: bỏ phần ít dùng

Cắt tỉa (pruning) loại bỏ các kết nối gần như không ảnh hưởng tới kết quả, giống tỉa bớt cành phụ cho cây gọn mà vẫn ra quả. Ngoài ra, các hãng còn huấn luyện riêng những mô hình ngôn ngữ nhỏ (small language model) ngay từ đầu cho thiết bị, thay vì chỉ thu nhỏ mô hình lớn.

Ba kỹ thuật thu nhỏ mô hình AI cho điện thoại: lượng tử hoá, chưng cất tri thức, cắt tỉa
Ba cách “ép cân” mô hình để AI vừa với bộ nhớ và pin điện thoại.

Học liên kết: AI học từ bạn mà không lấy tin nhắn

Bàn phím học từ cách bạn gõ. Câu hỏi tự nhiên là: tin nhắn của tôi có bị gửi đi đâu không? Để giải bài toán này, năm 2017 Google giới thiệu cách huấn luyện bàn phím Gboard bằng học liên kết (federated learning).

Hãy hình dung một lớp học nơi không ai phải nộp vở. Mỗi học sinh tự rút kinh nghiệm ở nhà, rồi chỉ gửi lên phần kinh nghiệm đã được tóm gọn. Thầy gộp kinh nghiệm của cả lớp thành bài giảng tốt hơn, rồi phát lại cho mọi người. Với bàn phím, “vở” là tin nhắn của bạn, “kinh nghiệm tóm gọn” là phần cập nhật mô hình.

Sơ đồ học liên kết federated learning: máy tự học, gửi bản cập nhật, máy chủ gộp, mô hình chung tốt hơn
Học liên kết gửi đi bản cập nhật mô hình, không gửi nội dung tin nhắn.

Quy trình thường gồm bốn bước: máy chủ gửi mô hình chung xuống nhiều thiết bị; mỗi thiết bị học thêm từ dữ liệu của chính nó, thường khi đang sạc và dùng Wi-Fi; thiết bị gửi lên bản cập nhật đã tóm gọn; máy chủ gộp hàng nghìn bản cập nhật thành mô hình chung mới. Các hệ thống thực tế còn kết hợp kỹ thuật như gộp an toàn và thêm nhiễu thống kê để khó suy ngược ra dữ liệu của từng người.

Ứng dụng của học liên kết không dừng ở bàn phím. Bệnh viện có thể cùng huấn luyện mô hình đọc phim mà không phải chuyển hồ sơ bệnh nhân ra ngoài, ngân hàng có thể cùng phát hiện gian lận mà không chia sẻ dữ liệu khách hàng. Dù vậy, nội dung tin nhắn chỉ “về nguyên tắc” nằm trên máy: mức an toàn thực tế còn phụ thuộc cách từng hãng triển khai.

AI trên thiết bị đang có ở đâu?

Bạn có lẽ đang dùng AI trên thiết bị nhiều hơn mình nghĩ, không chỉ trên điện thoại.

Điện thoại và laptop

Ngoài bàn phím, điện thoại dùng AI trên máy để mở khoá bằng khuôn mặt, ghép nhiều khung hình khi chụp đêm, xoá phông chân dung, tìm ảnh theo từ khoá “chó”, “biển”, và chuyển giọng nói thành chữ. Gemini Nano trên Pixel 8 Pro được dùng để tóm tắt bản ghi âm và gợi ý câu trả lời nhanh trong Gboard. Apple Intelligence chạy phần lớn yêu cầu trên máy, việc nặng hơn mới gửi lên hệ thống máy chủ riêng của Apple (Private Cloud Compute). Galaxy AI của Samsung cũng kết hợp xử lý trên máy và trên đám mây. Trên laptop Copilot+ PC, NPU lo các việc như làm mờ nền khi gọi video hay tạo phụ đề trực tiếp.

Nhà thông minh

Loa thông minh luôn “nghe” để bắt từ đánh thức như “Hey Google” hay “Alexa”. Phần nghe từ đánh thức chạy trên chính chiếc loa; chỉ khi nhận ra từ khoá, loa mới gửi câu lệnh đi xử lý. Camera an ninh đời mới tự phân biệt người, xe, thú cưng để không báo động nhầm mỗi khi lá cây lay.

Robot và nhà máy

Robot hút bụi dùng camera và mô hình nhỏ để nhận ra dây điện, tất, chất thải thú cưng và đi vòng tránh. Trong nhà máy, camera gắn AI kiểm tra lỗi sản phẩm ngay trên dây chuyền, vì gửi hàng nghìn ảnh mỗi phút lên đám mây vừa chậm vừa tốn băng thông. Ô tô có hỗ trợ lái phải xử lý hình ảnh tại chỗ: một chiếc xe không thể chờ mạng mới quyết định phanh.

Ứng dụng AI trên thiết bị trong điện thoại, laptop, loa thông minh, camera, robot hút bụi, nhà máy
AI trên thiết bị có mặt từ túi quần đến dây chuyền sản xuất.

Giới hạn và hiểu lầm về AI trên thiết bị

AI trên thiết bị không phải phép màu. Biết giới hạn giúp bạn dùng đúng chỗ và không kỳ vọng sai.

Mô hình nhỏ thì kém thông minh hơn

Mô hình vài tỷ tham số trả lời câu đơn giản tốt, nhưng dễ sai với câu hỏi phức tạp, kiến thức hiếm hoặc yêu cầu suy luận dài. Đó là lý do hãng vẫn gửi việc khó lên đám mây.

Tốn pin, nóng máy, kén cấu hình

Chạy mô hình ngôn ngữ trên máy tiêu tốn RAM và điện. Nhiều tính năng AI mới chỉ có trên máy đời mới, đủ RAM và có NPU mạnh; máy cũ hơn có thể không được hỗ trợ dù chạy cùng hệ điều hành.

Bàn phím vẫn sai và “đồng phục hoá” cách viết

Bàn phím có thể sửa tên riêng thành một từ thông dụng, khiến tin nhắn trở nên ngớ ngẩn. Và vì luôn đưa ra chữ phổ biến nhất, nó vô tình kéo cách viết của mọi người về cùng một khuôn. Với tin nhắn quan trọng, hãy đọc lại trước khi gửi.

Hiểu lầm và sự thật về AI trên thiết bị: riêng tư tuyệt đối, không cần mạng, thông minh như chatbot
Ba hiểu lầm phổ biến và sự thật đằng sau.

Hiểu lầm lớn nhất là “trên thiết bị nghĩa là riêng tư tuyệt đối”. Thực tế, một ứng dụng có thể xử lý AI trên máy nhưng vẫn gửi dữ liệu khác như thống kê sử dụng lên máy chủ, và một số tính năng âm thầm chuyển sang đám mây khi việc quá nặng. Cách chắc nhất là đọc phần quyền riêng tư của từng tính năng và xem có tuỳ chọn “chỉ xử lý trên thiết bị” hay không.

Cách kiểm tra và tận dụng AI trên thiết bị

Bạn không cần là kỹ sư để hưởng lợi từ AI trên thiết bị. Vài bước dưới đây giúp bạn dùng nhanh hơn, riêng tư hơn.

1. Đọc mô tả quyền riêng tư của tính năng AI

Khi bật một tính năng AI mới trên điện thoại, hãy đọc dòng mô tả trong phần cài đặt: nó ghi xử lý trên thiết bị, trên đám mây, hay cả hai. Một số máy có công tắc chỉ cho phép xử lý trên thiết bị cho các tính năng như dịch trực tiếp.

2. Tải gói ngôn ngữ để dịch ngoại tuyến

Các ứng dụng dịch phổ biến cho phép tải trước gói ngôn ngữ (ví dụ tiếng Anh, tiếng Việt). Khi đi du lịch hoặc ở nơi sóng yếu, bạn vẫn dịch được biển hiệu và thực đơn bằng mô hình nằm trong máy.

3. Dạy bàn phím từ riêng và xoá khi cần

Bấm hoàn tác khi bàn phím sửa sai tên riêng để nó ghi nhớ. Nếu muốn bàn phím quên hết thói quen cũ, Gboard có mục xoá từ đã học trong phần cài đặt quyền riêng tư; trên iPhone là đặt lại từ điển bàn phím trong phần đặt lại của cài đặt chung.

4. Thử chạy mô hình ngôn ngữ trên máy tính của bạn

Nếu tò mò, bạn có thể cài các phần mềm miễn phí như Ollama hoặc LM Studio để tải một mô hình nhỏ đã lượng tử hoá và trò chuyện hoàn toàn ngoại tuyến. Máy càng nhiều RAM, bạn càng chạy được mô hình lớn hơn. Đây là cách trực quan nhất để thấy mô hình nhỏ giỏi gì và hụt hơi ở đâu.

5. Cân nhắc NPU khi mua máy mới

Nếu bạn định dùng nhiều tính năng AI, hãy xem máy có NPU, bao nhiêu RAM và hãng hỗ trợ những tính năng AI nào trên dòng máy đó. Đừng chỉ nhìn con số TOPS trên quảng cáo.

Checklist cách tận dụng AI trên thiết bị: kiểm tra quyền riêng tư, dịch ngoại tuyến, chạy mô hình trên máy
Năm việc nhỏ giúp bạn dùng AI trên thiết bị hiệu quả và an tâm hơn.

Câu hỏi thường gặp về AI trên thiết bị

AI trên thiết bị có cần Internet không?

Phần xử lý chính không cần Internet, nên bàn phím, mở khoá khuôn mặt hay dịch ngoại tuyến vẫn chạy khi mất mạng. Tuy vậy, máy vẫn cần mạng để tải mô hình lần đầu, nhận bản cập nhật mô hình mới, và với AI lai, để gửi những yêu cầu quá nặng lên đám mây.

Điện thoại của tôi có NPU không?

Hầu hết điện thoại tầm trung và cao cấp ra mắt vài năm gần đây đều có khối xử lý AI trong chip, dù mỗi hãng gọi một tên: Neural Engine của Apple, Hexagon NPU của Qualcomm, NPU trong chip Exynos hay Tensor. Bạn có thể tra tên chip của máy rồi tìm thông số trên trang của hãng sản xuất chip.

AI trên thiết bị có an toàn tuyệt đối cho dữ liệu cá nhân không?

An toàn hơn vì dữ liệu không phải đi qua mạng, nhưng không tuyệt đối. Ứng dụng vẫn có thể gửi dữ liệu khác lên máy chủ, và kẻ xấu chiếm được máy thì vẫn đọc được dữ liệu trong đó. Hãy kết hợp với khoá màn hình, cập nhật phần mềm và chỉ cấp quyền cần thiết.

Chạy AI trên máy có làm hao pin không?

Có, nhưng mức độ tuỳ tác vụ. Gợi ý từ hay nhận diện khuôn mặt rất nhẹ, gần như không đáng kể. Tạo văn bản dài hay chỉnh ảnh bằng mô hình tạo sinh tốn điện và có thể làm máy ấm lên. NPU sinh ra chính là để làm các việc này tiết kiệm điện hơn CPU và GPU.

Học liên kết khác gì gửi dữ liệu lên máy chủ?

Gửi dữ liệu là chuyển nguyên văn tin nhắn, ảnh hay giọng nói lên máy chủ để huấn luyện. Học liên kết để thiết bị tự học tại chỗ rồi chỉ gửi bản cập nhật mô hình đã tóm gọn, thường kèm kỹ thuật gộp an toàn. Máy chủ nhận được “bài học rút ra” của nhiều người, không nhận “cuốn vở” của từng người.

Mô hình nhỏ trên điện thoại có thay được chatbot lớn không?

Chưa. Mô hình trên máy hợp với việc ngắn, cần nhanh và riêng tư như gợi ý câu trả lời, tóm tắt tin nhắn, sửa văn bản. Câu hỏi cần kiến thức rộng hoặc suy luận dài vẫn cần mô hình lớn trên đám mây. Khoảng cách này đang hẹp dần khi chip mạnh lên và kỹ thuật thu nhỏ mô hình tiến bộ.

Kết luận

AI trên thiết bị là phần trí tuệ nhân tạo lặng lẽ nhất nhưng gần bạn nhất: bàn phím đoán chữ, camera chụp đêm, loa nghe từ đánh thức, robot hút bụi né dây điện. Nhờ chip NPU, kỹ thuật lượng tử hoá, chưng cất và học liên kết, AI ngày càng chạy nhanh hơn, riêng tư hơn ngay trong máy. Đổi lại, mô hình nhỏ có giới hạn, nên tương lai gần sẽ là AI lai: việc nhẹ ở trong máy, việc nặng lên đám mây.

Lần tới khi ba chữ gợi ý hiện ra đúng điều bạn định nói, hãy tự hỏi: máy hiểu bạn, hay bạn đã quá dễ đoán? Bàn phím của bạn từng tự sửa thành chữ nào buồn cười nhất? Hãy kể trong phần bình luận và theo dõi Nhật Phúc để đọc thêm những bài giải thích AI dễ hiểu.

Bình luận

Chưa có bình luận nào. Bạn có câu hỏi hay kinh nghiệm riêng về chủ đề này? Hãy là người mở đầu.

Chia sẻ ý kiến của bạn

Email không hiển thị công khai. Bình luận đầu tiên của bạn sẽ hiện sau khi được duyệt.

Bắt đầu từ đây