Bạn nói một câu “đặt giúp tôi một chuyến xe ra sân bay lúc 6 giờ sáng”, rồi để điện thoại trong túi. Vài phút sau, ứng dụng gọi xe đã điền sẵn điểm đón, điểm đến, chỉ chờ bạn bấm xác nhận. Đó là cách Gemini tự động thao tác ứng dụng trên Android: AI không chỉ trả lời mà còn tự mở app, nhìn màn hình và bấm thay bạn.
Câu trả lời ngắn: Gemini tự động thao tác ứng dụng (Google gọi là screen automation, nằm trong nhóm Gemini Intelligence) là tính năng beta cho phép Gemini mở ứng dụng trong một môi trường ảo trên điện thoại, đọc màn hình và chạm, vuốt, gõ chữ để làm việc nhiều bước. Bạn vẫn là người xác nhận thanh toán. Hiện tính năng chỉ có ở 5 nước, chưa hỗ trợ Việt Nam và tiếng Việt.
Bài viết này giải thích AI “dùng điện thoại hộ” hoạt động ra sao, những loại ứng dụng nào đang được chuẩn bị, điều kiện để dùng, người Việt có dùng được không và cách giữ an toàn khi giao quyền bấm nút cho AI.
Tóm tắt nhanh
- Gemini làm việc trong một “điện thoại ảo” chạy ngay trên máy, chỉ được mở những ứng dụng cần cho tác vụ.
- Bạn có thể xem tiến độ, dừng tác vụ bất cứ lúc nào; bước trả tiền, đặt chỗ cuối cùng do bạn tự xác nhận.
- Hỗ trợ chính thức ở Mỹ, Anh, Ấn Độ, Nhật Bản, Hàn Quốc; ngôn ngữ tiếng Anh, Nhật, Hàn; người dùng từ 18 tuổi.
- Thiết bị: Pixel 10, Pixel 11, Galaxy S26, Z Flip 8, Z Fold 8, Galaxy Tab S12.
- Theo Android Authority, mã Android đang chứa danh sách 134 ứng dụng mục tiêu, gồm cả Word, Excel, Booking.com, Shopee; có trong danh sách chưa có nghĩa là đã dùng được.
- Rủi ro chính: AI bấm nhầm, mua khi chưa được phép, bị câu lệnh ẩn (prompt injection) đánh lừa.
Nội dung chính:
- Gemini tự động thao tác ứng dụng là gì?
- Từ bản thử đến 134 ứng dụng: các mốc chính
- AI thao tác ứng dụng hoạt động thế nào?
- Hai cách để AI làm việc với ứng dụng
- Danh sách ứng dụng: những nhóm nào đang được chuẩn bị
- Điều kiện sử dụng và người Việt có dùng được không
- Gemini tự thao tác ứng dụng làm được việc gì
- Rủi ro khi giao quyền bấm nút cho AI
- 6 bước dùng AI thao tác ứng dụng an toàn
- Hiểu lầm phổ biến
- Câu hỏi thường gặp
Gemini tự động thao tác ứng dụng là gì?
Trước đây, trợ lý ảo trên điện thoại chủ yếu làm hai việc: trả lời câu hỏi và gọi một vài chức năng có sẵn như đặt báo thức, mở bản đồ. Muốn đặt đồ ăn, bạn vẫn phải tự mở ứng dụng, tìm món, chọn số lượng, điền địa chỉ.
Tính năng thao tác màn hình của Gemini thay đổi điều đó. Theo trang hỗ trợ của Google, Gemini hoàn thành tác vụ trong một môi trường điện thoại ảo trên thiết bị (on-device virtual phone environment), tự mở ứng dụng và tương tác với màn hình của chúng. Nói cách khác, AI dùng ứng dụng giống cách bạn dùng: nhìn thấy nút, ô nhập, danh sách món, rồi chạm vào đúng chỗ.
Hãy hình dung bạn nhờ một người trợ lý cầm chiếc điện thoại thứ hai. Bạn dặn “mua lại gói cà phê lần trước”, người đó mở app, tìm đơn cũ, thêm vào giỏ rồi đưa máy lại cho bạn bấm thanh toán. Gemini làm vai người trợ lý đó, chỉ khác là “chiếc điện thoại thứ hai” là một không gian ảo nằm ngay trong máy bạn.
Đây là một dạng AI agent (tác tử AI): hệ thống nhận mục tiêu, tự lập các bước và dùng công cụ để hoàn thành, thay vì chỉ trả lời bằng chữ. Điểm khác của Gemini là công cụ ở đây chính là giao diện các ứng dụng bạn vẫn dùng hằng ngày.
Từ bản thử đến 134 ứng dụng: các mốc chính
Tính năng này không xuất hiện trong một ngày. Nó được mở rộng dần trong năm 2026:
- 25/2/2026: Google công bố bản beta trên Pixel 10, Pixel 10 Pro và dòng Galaxy S26, chỉ ở Mỹ và Hàn Quốc. Theo TechCrunch, nhóm ứng dụng đầu tiên là gọi xe, giao đồ ăn, tạp hoá như Uber, Lyft, DoorDash, Starbucks; tại Hàn có thêm Kakao T.
- Tháng 3/2026: tính năng bắt đầu tới tay người dùng Galaxy S26 (Android Central ghi nhận ngày 12/3).
- Tháng 11/2026: trang hỗ trợ của Google liệt kê 5 quốc gia (Mỹ, Anh, Ấn Độ, Nhật Bản, Hàn Quốc), 3 ngôn ngữ và thêm Pixel 11, Z Flip 8, Z Fold 8, Galaxy Tab S12.
- 12/11/2026: Android Authority phát hiện danh sách ứng dụng mục tiêu trong cấu hình Android 17 QPR2 có 114 ứng dụng (ngày 10/11 là 106), cộng thêm 20 ứng dụng trong bản thử Canary, tổng cộng 134.
Con số tăng từ 106 lên 114 chỉ trong hai ngày cho thấy Google đang bổ sung danh sách liên tục qua máy chủ, không cần cập nhật hệ điều hành. Nhưng cần nhớ: danh sách nằm trong mã là kế hoạch, không phải lời hứa.
AI thao tác ứng dụng hoạt động thế nào?
Google không công bố chi tiết kỹ thuật bên trong. Tuy vậy, các AI agent điều khiển giao diện (computer use hay GUI agent) nói chung đều đi theo một vòng lặp giống nhau, và mô tả của Google khớp với vòng lặp này.
Bước 1: Hiểu yêu cầu
Bạn nói hoặc gõ yêu cầu bằng ngôn ngữ tự nhiên, kèm tên ứng dụng. Mô hình ngôn ngữ tách yêu cầu thành mục tiêu cụ thể: mở app nào, tìm gì, dừng ở đâu.
Bước 2: Mở ứng dụng trong môi trường ảo
Thay vì chiếm màn hình chính, Gemini chạy ứng dụng trong một không gian ảo riêng. Theo Android, mỗi tác vụ chạy trong môi trường ảo được bảo vệ và chỉ truy cập những ứng dụng cần cho tác vụ đó. Nhờ vậy bạn vẫn dùng điện thoại bình thường, theo dõi tiến độ qua cửa sổ nhỏ hoặc thông báo.
Bước 3: “Nhìn” màn hình
Để biết nút “Thêm vào giỏ” nằm đâu, agent cần hiểu màn hình. Cách phổ biến là kết hợp ảnh chụp màn hình (mô hình đa phương thức đọc được chữ và hình) với cấu trúc giao diện mà Android vẫn cung cấp cho các công cụ hỗ trợ tiếp cận như trình đọc màn hình. Trang hỗ trợ của Google mô tả quyền cần cấp là cho Gemini “đọc và tương tác với nội dung màn hình của ứng dụng”.
Bước 4: Hành động, kiểm tra, lặp lại
Agent quyết định một thao tác (chạm, vuốt, gõ chữ), thực hiện, rồi nhìn lại màn hình để xem kết quả có đúng không. Vòng lặp tiếp tục đến khi xong hoặc gặp bước cần bạn: nhập mật khẩu, thông tin thanh toán, đăng nhập, tạo tài khoản hay chốt giao dịch.
Vì phải “nhìn rồi bấm” từng bước, cách này chậm hơn người dùng thành thạo và dễ vấp khi ứng dụng đổi giao diện, hiện quảng cáo bất ngờ hay có hộp thoại lạ. Đó là lý do Google vẫn gọi đây là bản beta.
Hai cách để AI làm việc với ứng dụng
Có hai con đường chính để một trợ lý AI điều khiển ứng dụng khác, và Gemini dùng cả hai.
Cách 1: qua kết nối trực tiếp (API). Nhà phát triển ứng dụng mở sẵn “cửa sau” có cấu trúc: hàm tạo sự kiện lịch, hàm gửi tin nhắn. Trong Gemini, đây là các Connected Apps (ứng dụng được kết nối). AI gửi lệnh rõ ràng, nhận kết quả rõ ràng, nhanh và ít sai.
Cách 2: qua giao diện (thao tác màn hình). Khi ứng dụng không có kết nối, AI phải dùng giao diện như con người. Cách này linh hoạt vì dùng được với gần như mọi ứng dụng, nhưng chậm hơn và dễ nhầm hơn.
Trang hỗ trợ của Google ghi rõ: khi có Connected App phù hợp, Gemini sẽ dùng nó thay vì thao tác màn hình, và tính năng thao tác màn hình không chạy trong những ứng dụng đã có dạng Connected App.
| Tiêu chí | Kết nối API (Connected Apps) | Thao tác giao diện |
|---|---|---|
| Cần nhà phát triển hỗ trợ | Có, phải xây sẵn kết nối | Không bắt buộc, nhưng Google vẫn chọn lọc ứng dụng |
| Tốc độ | Nhanh, một lệnh là xong | Chậm hơn, phải bấm từng bước |
| Độ ổn định | Cao, ít phụ thuộc giao diện | Dễ vấp khi giao diện đổi, có quảng cáo bật lên |
| Phạm vi | Chỉ chức năng được mở | Gần như mọi thứ người dùng làm được |
Danh sách ứng dụng: những nhóm nào đang được chuẩn bị
Trang hỗ trợ chính thức của Google không liệt kê tên từng ứng dụng mà nêu bốn nhóm việc: đặt xe, chuyến bay, chỗ ở; mua vé sự kiện và trải nghiệm; mua bán sản phẩm; đặt đồ ăn và tạp hoá. Riêng mua bán, đặt chỗ du lịch và mua vé hiện được ghi là dành cho Z Flip 8 và Z Fold 8.
Danh sách tên cụ thể đến từ Android Authority, trang đã đọc được cấu hình Google gửi xuống máy. Một số tên đáng chú ý theo nhóm:
- Văn phòng và cộng tác: Word, Excel, Outlook, OneNote, Teams, Slack, Evernote.
- Mua sắm: eBay, Etsy, AliExpress, Temu, SHEIN; bản thử Canary có thêm Shopee, Mercado Libre, Costco.
- Du lịch và di chuyển: Uber, Booking.com, Airbnb, Trip.com, Expedia, Skyscanner.
- Thể thao, sức khoẻ: Strava, MyFitnessPal, Peloton, AllTrails (trong bản Canary).
- Mạng xã hội: Reddit, KakaoTalk, X (X có trong bản Canary).
Điều quan trọng là có tên trong danh sách chưa chắc đã dùng được. Chính Android Authority khi thử trên Galaxy S26 Ultra ghi nhận: đặt món trên Zomato, thêm sữa vào giỏ trên Blinkit chạy được và dừng trước bước trả tiền; nhưng với Word, Gemini không mở được tài liệu cụ thể, với Outlook chỉ đưa ra liên kết soạn thư; một số ứng dụng giao hàng khác bị từ chối. Danh sách vì vậy nên hiểu là “Google đang dọn đường”.
Điều kiện sử dụng và người Việt có dùng được không
Theo trang hỗ trợ của Google (cập nhật tháng 11/2026), để dùng tính năng thao tác màn hình bạn cần đủ các điều kiện sau:
| Hạng mục | Yêu cầu |
|---|---|
| Thiết bị | Pixel 10, 10 Pro, 10 Pro XL, Pixel 11, 11 Pro, 11 Pro XL, 11 Pro Fold; Galaxy S26, Z Flip 8, Z Fold 8, Galaxy Tab S12 |
| Quốc gia | Mỹ, Anh, Ấn Độ, Nhật Bản, Hàn Quốc (Pixel 10 không hỗ trợ tại Hàn Quốc) |
| Ngôn ngữ | Tiếng Anh, Nhật, Hàn, với một số ứng dụng chọn lọc |
| Tuổi và tài khoản | Từ 18 tuổi, tài khoản Google cá nhân; tài khoản công việc, trường học, tài khoản giám sát không dùng được |
| Nơi dùng | Chỉ trong ứng dụng Gemini trên Android, mở dần theo đợt |
Người dùng ở Việt Nam thì sao?
Hiện Việt Nam chưa có trong danh sách quốc gia và tiếng Việt chưa nằm trong các ngôn ngữ hỗ trợ. Ngay cả khi bạn sở hữu Galaxy S26 hay Pixel 10, tính năng này chưa dùng chính thức được. Google cũng chưa công bố lịch mở rộng sang Việt Nam.
Không nên cố “lách” bằng cách đổi vùng tài khoản hay dùng VPN. Ngoài việc có thể vi phạm điều khoản, bạn sẽ giao quyền bấm nút cho AI trong khi các ứng dụng phổ biến ở Việt Nam chưa được thử nghiệm với tính năng này. Trong lúc chờ, bạn vẫn có thể dùng Gemini với các ứng dụng được kết nối sẵn, tuỳ ngôn ngữ và khu vực tài khoản.
Gemini tự thao tác ứng dụng làm được việc gì
Các ví dụ Google đưa ra trên trang Android đều là những việc lặp lại, nhiều bước nhưng ít rủi ro:
- Dựng giỏ hàng tạp hoá từ danh sách nguyên liệu của một công thức nấu ăn.
- Đặt xe tới một sự kiện.
- Đặt lại đồ dùng quen thuộc như cà phê, khăn giấy.
- Đặt bàn ăn tối từ một đoạn trò chuyện nhóm.
- Thêm sự kiện vào lịch, chia sẻ thời gian dự kiến đến nơi cho bạn bè.
Điểm chung: AI lo phần “bấm bấm” tốn thời gian, còn bạn giữ quyết định quan trọng. Theo Android, Gemini chuẩn bị đơn hàng hay đặt chỗ, nhưng bạn là người xác nhận mua và đặt.
Tác động đến công việc và cuộc sống
Nếu tính năng tới Việt Nam, nhóm hưởng lợi rõ nhất là người bận rộn hay đặt đồ lặp lại, người lớn tuổi ngại thao tác nhiều màn hình, và người khiếm thị cần trợ giúp đi qua những ứng dụng thiết kế chưa thân thiện. Với các nhà phát triển ứng dụng, câu chuyện lớn hơn: khi “người dùng” có thể là AI, giao diện rõ ràng, nhãn nút đầy đủ cho công cụ hỗ trợ tiếp cận sẽ giúp cả người lẫn máy dùng app dễ hơn.
Về việc làm, kiểu tự động hoá này chủ yếu thay những thao tác nhỏ của cá nhân, chưa thay được công việc chuyên môn. Nhưng nó báo hiệu xu hướng: phần lớn tương tác với dịch vụ số có thể sẽ đi qua trợ lý AI thay vì qua tay người.
Rủi ro khi giao quyền bấm nút cho AI
Google tự nhận trong trang hỗ trợ rằng Gemini “có thể mắc lỗi”, ví dụ bấm nhầm món hoặc hoàn tất giao dịch khi chưa được phép, và bạn chịu trách nhiệm cho hành động của Gemini, kể cả các khoản mua. Đây là những rủi ro cần biết:
- Bấm nhầm: chọn sai món, sai size, sai địa chỉ. Đơn bỏ dở có thể để lại hàng trong giỏ.
- Mua khi chưa cho phép: dù có bước xác nhận, Google vẫn cảnh báo khả năng này.
- Câu lệnh ẩn (prompt injection): nội dung trên trang hoặc trong app có thể chứa chỉ dẫn giấu kín, đánh lừa agent làm việc ngoài ý muốn. Google nêu rủi ro này ngay trên trang hỗ trợ.
- Quyền riêng tư: để thao tác, Gemini phải đọc nội dung màn hình của ứng dụng, gồm cả thông tin cá nhân như địa chỉ, lịch sử đơn hàng.
- Giới hạn sử dụng: có giới hạn số yêu cầu mỗi ngày và số tác vụ chạy cùng lúc; không nên dùng cho việc khẩn cấp.
Quyền truy cập theo từng ứng dụng
Google yêu cầu bạn cấp quyền cho từng ứng dụng, với ba lựa chọn: Luôn cho phép, Hỏi mỗi lần hoặc Không cho phép. Bạn có thể đổi lại bất cứ lúc nào.
Ở góc độ pháp lý tại Việt Nam, Luật Bảo vệ dữ liệu cá nhân số 91/2025/QH15 (hiệu lực từ 1/1/2026) đặt yêu cầu về sự đồng ý và mục đích xử lý dữ liệu. Khi một dịch vụ AI đọc màn hình chứa dữ liệu của bạn và của người khác (ví dụ tin nhắn nhóm), hãy cân nhắc bạn đang chia sẻ những gì, nhất là nếu dùng điện thoại công việc.
6 bước dùng AI thao tác ứng dụng an toàn
Dù bạn dùng Gemini khi tính năng tới Việt Nam hay dùng một AI agent khác có khả năng điều khiển ứng dụng, các nguyên tắc dưới đây đều áp dụng được.
1. Bắt đầu với việc ít rủi ro
Thử với việc như thêm món vào giỏ, tạo sự kiện lịch trước khi giao những việc liên quan đến tiền.
2. Viết yêu cầu cụ thể
Nêu rõ tên ứng dụng, món, số lượng, giờ, địa chỉ và điểm dừng, ví dụ: “Thêm 2 hộp sữa tươi không đường 1 lít vào giỏ, dừng trước bước thanh toán”.
3. Chọn “Hỏi mỗi lần” cho ứng dụng nhạy cảm
Ứng dụng mua sắm, ngân hàng, ví điện tử, nhắn tin công việc không nên để ở chế độ luôn cho phép.
4. Không dán mật khẩu, số thẻ vào khung chat
Google khuyên tự nhập thông tin đăng nhập và thanh toán khi Gemini dừng lại chờ bạn.
5. Theo dõi tiến độ và kiểm tra trước khi xác nhận
Mở phần xem tiến độ; trước khi bấm trả tiền, rà lại món, giá, địa chỉ, phí giao hàng.
6. Dọn dẹp sau khi xong
Kiểm tra giỏ hàng còn món thừa không, xem lại lịch sử hoạt động và thu hồi quyền với ứng dụng không còn dùng.
Hiểu lầm phổ biến
“AI sẽ tự trả tiền mà không hỏi.” Thiết kế của Google là dừng lại để bạn xác nhận các bước mua, đặt chỗ, nhập thông tin thanh toán. Tuy vậy Google vẫn cảnh báo lỗi có thể xảy ra, nên đừng bỏ qua bước kiểm tra.
“Có tên trong danh sách 134 ứng dụng là dùng được ngay.” Danh sách nằm trong mã cấu hình, nhiều ứng dụng chưa chạy được khi thử thực tế.
“Gemini điều khiển toàn bộ điện thoại.” Tác vụ chạy trong môi trường ảo, chỉ chạm tới các ứng dụng cần thiết và bạn cấp quyền riêng cho từng ứng dụng.
“Máy nào cài Gemini cũng có.” Tính năng chỉ có trên một số mẫu Pixel và Galaxy đời mới, ở 5 nước.
Câu hỏi thường gặp
Gemini tự động thao tác ứng dụng có miễn phí không?
Trang hỗ trợ của Google không nêu phí riêng cho tính năng này; nó nằm trong ứng dụng Gemini trên các máy được hỗ trợ. Có giới hạn số yêu cầu mỗi ngày và số tác vụ chạy cùng lúc. Chi phí bạn phải trả là tiền hàng, dịch vụ trong ứng dụng mà Gemini thao tác giúp.
Điện thoại Samsung hay Pixel đời cũ có dùng được không?
Hiện chưa. Danh sách chính thức chỉ gồm Pixel 10, Pixel 11, Galaxy S26, Z Flip 8, Z Fold 8 và Galaxy Tab S12. Google chưa công bố kế hoạch đưa xuống máy cũ hơn.
Khi nào tính năng có tiếng Việt?
Google chưa công bố. Hiện tính năng chỉ hỗ trợ tiếng Anh, Nhật, Hàn ở 5 quốc gia. Bạn có thể theo dõi trang hỗ trợ Gemini để biết khi danh sách quốc gia và ngôn ngữ thay đổi.
Đang chạy tác vụ mà thấy sai thì làm sao?
Bạn bấm dừng tác vụ bất cứ lúc nào. Trên một số máy như Z Flip 8, Z Fold 8 còn có nút giành quyền điều khiển để tự làm nốt; trên Pixel 10 và Galaxy S26, Google ghi rõ chỉ có tuỳ chọn dừng. Sau đó kiểm tra lại giỏ hàng hay đơn đang dở.
Gemini có thấy mật khẩu và tin nhắn của tôi không?
Khi được cấp quyền, Gemini đọc nội dung màn hình của ứng dụng đó trong lúc làm tác vụ. Vì vậy Google khuyên không nhập thông tin đăng nhập, thanh toán vào khung chat và tự nhập khi Gemini dừng lại chờ bạn.
Kết luận: AI dùng ứng dụng hộ bạn, nhưng bạn vẫn cầm lái
Gemini tự động thao tác ứng dụng là bước chuyển từ trợ lý biết nói sang trợ lý biết làm. Cách nó vận hành, nhìn màn hình rồi bấm trong một điện thoại ảo, cho phép AI dùng được cả những ứng dụng chưa có kết nối riêng. Danh sách 134 ứng dụng cho thấy Google muốn đưa tính năng vào cả văn phòng, mua sắm, du lịch.
Với người Việt, tính năng chưa dùng chính thức được, nhưng đây là lúc tốt để hiểu cách nó hoạt động và tập thói quen giao việc cho AI an toàn: việc nhỏ trước, quyền hỏi mỗi lần, tự kiểm tra trước khi trả tiền. Bạn muốn giao cho AI việc gì trên điện thoại đầu tiên? Hãy để lại bình luận và theo dõi Nhật Phúc để nhận các bài giải thích công nghệ AI dễ hiểu tiếp theo.
Bình luận
Chưa có bình luận nào. Bạn có câu hỏi hay kinh nghiệm riêng về chủ đề này? Hãy là người mở đầu.