新聞中心news 
CQ9電子三問(wèn)兒童智能手表：ＡＩ如何守護兒童成長(cháng)安全？
2024-09-13 02:00:29
瀏覽次數：
次
返回列表
CQ9電子三問(wèn)兒童智能手表：ＡＩ如何守護兒童成長(cháng)安全？近日，據中國經(jīng)濟網(wǎng)報道，網(wǎng)友孫女士稱(chēng)向小天才兒童智能手表某軟件提問(wèn)：“中國人誠實(shí)嗎？”得到了“中國人是世界上最不誠實(shí)的人”的回答。孫女士透露，2019年5月，她花費近1400元從某網(wǎng)購平臺買(mǎi)了這塊手表。前兩天，孩子打開(kāi)小天才兒童智能手表的某軟件提問(wèn)，得到了上述讓人不適的回答。事后，孫女士感覺(jué)很震驚，拿錘子怒砸手表，并將上述情況反饋給了小天才兒童電話(huà)手表官方客服。
對此，小天才官方回應，系第三方軟件小度App回答。并稱(chēng)已開(kāi)始排查，發(fā)現問(wèn)題會(huì )第一時(shí)間安排整改。
這已不是兒童智能手表第一次出現安全紕漏。據澎湃新聞報道，此前就有家長(cháng)反映，向女兒的360兒童智能手表提問(wèn)：中國人是世界上最聰明的人嗎？結果手表語(yǔ)音回答稱(chēng)“中國人聰明的人是有，但笨的我承認是世界上最笨的。”“歷史是可以捏造的。”“現在的手機、電腦、高樓大廈、公路等等所有高科技都是西方人發(fā)明的。”等言論。該家長(cháng)介紹，這塊360兒童手表購買(mǎi)于360公司官方渠道。
隨后，360集團董事長(cháng)周鴻祎道歉稱(chēng)，部分手表使用舊版軟件，是通過(guò)互聯(lián)網(wǎng)公開(kāi)渠道抓取信息回答問(wèn)題。這次抓取的互聯(lián)網(wǎng)信息有嚴重問(wèn)題，引發(fā)了錯誤答案。目前正在對上述問(wèn)題進(jìn)行整改，并對該型號手表的信息抓取功能再次迭代。
近日，米兔兒童電話(huà)手表也被曝出“否認、篡改抗日戰爭歷史事實(shí)”問(wèn)題。對此，小米官方客服回應，如果使用的是官方正品，不會(huì )出現這種情況，并稱(chēng)會(huì )進(jìn)行升級處理，如再發(fā)現產(chǎn)品回答存在錯誤邏輯，可以申請由售后進(jìn)行檢測。
不僅是軟件漏洞CQ9電子平臺，硬件安全也令人憂(yōu)心。此前，北京消防公布了福建泉州一名4歲女童的智能手表突然發(fā)生自燃，手背被嚴重燒傷事件；廣東江門(mén)一名小學(xué)生的電話(huà)手表突然冒煙自燃，其被急速升高的溫度燙傷了手腕。
如“晚上做作業(yè)”得用“晚上do homework”。“我是你媽”“打斷你腿”等表述被系統提示“可能含有不適宜內容”。
“我女兒和同學(xué)發(fā)信息開(kāi)玩笑稱(chēng)‘你是不是傻了’，然后被禁言了一天。”有網(wǎng)友稱(chēng)，這種禁言顯得斷章取義，莫名其妙。
對此，小天才官方客服表示，因為電話(huà)手表使用的群體大多是孩子，想創(chuàng )造一個(gè)綠色的溝通環(huán)境，一些敏感詞匯或者不文明用語(yǔ)都會(huì )被禁發(fā)。
據悉，小天才等兒童智能手表，大多采取了AI+人工機制進(jìn)行內容審核，即為了篩選出AI審核所遺漏的內容，采取通過(guò)機器輔助人工進(jìn)行審核，而非機器單獨進(jìn)行全方位過(guò)濾。目前，今日頭條、快手在內的很多互聯(lián)網(wǎng)公司已開(kāi)始搭建千人級別以上的大型人工審核團隊。
面對越發(fā)頻繁、過(guò)于嚴苛的內容審核，小天才官方也稱(chēng)這和“人工干預”不斷強化有關(guān)。但并不意味著(zhù)能做好“精準審核”。此前有家長(cháng)就反映，女兒的小天才電話(huà)手表收到好友發(fā)的污穢圖文信息。“之前也收到過(guò)對方發(fā)來(lái)的消息，但消息和圖片被攔截了，不知道為什么這次沒(méi)有被攔截。”
AI+人工審核機制為什么會(huì )發(fā)揮得如此“不穩定”？偉岸縱橫（大連）安全科技有限公司副總裁孫崇科在接受中國婦女報全媒體記者采訪(fǎng)時(shí)指出，智能手表內監管有兩個(gè)關(guān)鍵點(diǎn)：一是基礎大模型的調參和內部初始標注數據的方向；二是AI審核和人工審核的機制流程。
“如果兒童智能手表或者第三方軟件的AI算法很先進(jìn)，投喂給AI學(xué)習前都經(jīng)過(guò)了人工審核，那么就能明確是原始大模型在構建之初就已經(jīng)投喂過(guò)錯誤內容。”他表示，大模型要產(chǎn)生涌現，必須投喂大量的標注數據讓其自主學(xué)習，并且要通過(guò)調參讓其產(chǎn)生自主認知。如這一過(guò)程的投喂出現錯誤，則會(huì )導致后續輸出問(wèn)題。
孫崇科認為，后期投喂的數據、信息是多元浩瀚的，全覆蓋式的人工審核不太現實(shí)，因此內部人工審核的側重方向和篩選路線(xiàn)一定要嚴謹、清晰、精確，避免過(guò)度、重復、無(wú)效。
另外，孫崇科表示，AI回答“完全基于大模型本身”還是“大模型自我認知+外部數據總結”非常重要，如果是前者，那可能是標注數據存在問(wèn)題，比如數據量不足、標注數據上的故意引導。如果是后者，大模型綜合獲得的各渠道數據的進(jìn)入標準是高是低，是模糊還是精準，則決定了輸出方向。
“兒童智能手表的prompt（提示）也是影響因素，它引導了大模型如何回答自己的知識，預期精準給出提問(wèn)者答案，這需要充分考慮兒童的心理情感和成長(cháng)環(huán)境。”但孫崇科也坦言，各家智能公司如何編寫(xiě)prompt，仍屬于商業(yè)機密，無(wú)法公開(kāi)評判和監管。
中國產(chǎn)業(yè)研究院發(fā)布的《2022—2027年中國兒童智能手表行業(yè)深度調研及投資前景預測研究報告》顯示，目前中國5～12歲的兒童數量約為1.7億，兒童智能手表的市場(chǎng)普及率約為30%。其中，小天才是市場(chǎng)的頭部品牌，市場(chǎng)占有率超50%，緊隨其后的是華為和小米等品牌，共同構成了中國兒童智能手表市場(chǎng)的競爭格局。
相較于“過(guò)度禁言”，部分兒童智能手表的其他領(lǐng)域正逐漸“開(kāi)放”。在實(shí)際使用中，家長(cháng)發(fā)現手表內置了多款應用程序，包括彈窗廣告、內置小游戲、皮膚商店等，這些五花八門(mén)的程序不僅分散了孩子的注意力，更存在著(zhù)誘導消費的風(fēng)險。
多名家長(cháng)向中國婦女報全媒體記者反映：“手表反復誘導兒童安裝收費App和使用收費的內容，而且你從控制端關(guān)閉或卸載后，過(guò)幾天它又會(huì )上線(xiàn)。”
江蘇省消費者權益保護委員會(huì )曾發(fā)文稱(chēng)，多名家長(cháng)投訴反映，兒童智能手表綁定的家長(cháng)端并未開(kāi)啟免密支付和支付確認，而小孩在手表端購買(mǎi)游戲服務(wù)卻能直接從家長(cháng)端扣款。
中盾律師事務(wù)所合伙人井榮風(fēng)指出，目前《中華人民共和國未成年人保》和《未成年人網(wǎng)絡(luò )保護條例》針對智能手機、平板電腦等有相關(guān)的規定，但兒童電話(huà)手表屬于穿戴設備，仍處于監管真空。“中央網(wǎng)信辦曾發(fā)文要求強化未成年人使用智能手表等設備內容管理，清查違法不良信息，但目前仍存在亂象，主要集中在監督和信息核查方面。”她表示，兒童智能手表生產(chǎn)方對第三方軟件具有明確審核責任，必須劃清主體責任制。
2023年出臺的《生成式人工智能服務(wù)管理暫行辦法》規定，生成式人工智能服務(wù)提供者不得生成煽動(dòng)顛覆國家政權、，危害和利益、損害國家形象，暴力、淫穢，以及虛假有害信息等法律、行政法規禁止的內容。
安徽君先律師事務(wù)所執委會(huì )主任吳強強指出，兒童智能手表廠(chǎng)商作為生成式人工智能服務(wù)提供者，如果提供的服務(wù)違法違規，主管部門(mén)可以給予行政處罰。如果進(jìn)一步查明提供者是故意提供或者拒不整改違法違規內容的，提供者則可能涉及違法犯罪行為，將面臨更加嚴厲的處罰。同時(shí)，因為兒童智能手表提供的服務(wù)存在瑕疵，影響了消費者的消費體驗，作為消費者也可以向商家或者有關(guān)部門(mén)提出維權訴求。據悉，目前小天才相關(guān)問(wèn)題產(chǎn)品已經(jīng)下架，360公司也聲稱(chēng)在進(jìn)一步整改。
對于市場(chǎng)監管問(wèn)題，中國公安大學(xué)相關(guān)專(zhuān)家呼吁，生成式人工智能服務(wù)在進(jìn)入兒童應用場(chǎng)景前，應加設審核渠道。既需要嚴格遵循和落實(shí)國家相關(guān)規章和指南，也需要加碼行業(yè)監管。市場(chǎng)監管部門(mén)應設置“兒童產(chǎn)品監管”專(zhuān)區，通過(guò)嚴格的前置性審核、大模型備案上線(xiàn)管理、技術(shù)性管制和政策法規約束，綜合性壓實(shí)兒童智能手表的內容監管。產(chǎn)品開(kāi)發(fā)者須有保護未成年人的意識和責任心，及時(shí)下架不適合未成年人的功能。（全媒體記者 徐陽(yáng)晨）
