人工智能超入門叢書--數據素養：人工智能如何有據可依

新一代人工智能的崛起深刻影響著國際競爭格局，人工智能已經成為推動國家與人類社會發展的重大引擎。2017年，國務院發布《新一代人工智能發展規劃》，其中明確指出：支持開展形式多樣的人工智能科普活動，鼓勵廣大科技工作者投身人工智能知識的普及與推廣，全面提高全社會對人工智能的整體認知和應用水平。實施全民智能教育項目，在中小學階段設置人工智能相關課程，逐步推廣編程教育，鼓勵社會力量參與寓教于樂的編程教學軟件、游戲的開發和推廣。
為了貫徹落實《新一代人工智能發展規劃》，國家有關部委相繼頒布出臺了一系列政策。截至2022年2月，全國共有440所高校設置了人工智能本科專業，387所高等職業（?？疲┰盒ＴO置了人工智能技術服務專業，一些高校甚至已經在積極探索人工智能跨學科的建設。在高中階段，“人工智能初步”已經成為信息技術課程的選擇性必修內容之一。在2022年實現“從0到1”突破的義務教育階段信息科技課程標準中，明確要求在7～9年級需要學習“人工智能與智慧社會”相關內容。實際上，1～6年級階段的不少內容也與人工智能關系密切，是學習人工智能的基礎。
人工智能是一門具有高度交叉屬性的學科，筆者認為其交叉性至少體現在三個方面：行業交叉、學科交叉、學派交叉。在大數據、算法、算力三駕馬車的推動下，新一代人工智能已經逐步開始賦能各個行業。人工智能也在助力各學科的研究，近幾年，《自然》等頂級刊物不斷刊發人工智能賦能學科的文章，如人工智能推動數學、化學、生物、考古、設計、音樂以及美術等。人工智能內部的學派也在不斷交叉融合，像知名的AlphaGo，就是集三大主流學派優勢，并且現在這種不同學派間取長補短的研究開展得如火如荼?？傊?，未來的學習、工作與生活中，人工智能賦能的身影將無處不在，因此掌握一定的人工智能知識與技能將大有裨益。
根據筆者長期從事人工智能教學、研究經驗來看，一些人對人工智能還存在一定的誤區。比如將編程與人工智能直接畫上了等號，又或是認為人工智能就只有深度學習等。實際上，人工智能的知識體系十分龐大，涵蓋的內容相當廣泛，不但有邏輯推理、知識工程、搜索算法等相關內容，還涉及機器學習、深度學習以及強化學習等算法模型。當然，了解人工智能的起源與發展、人工智能的道德倫理，對正確認識人工智能和樹立正確的價值觀也是十分必要的。
通過對人工智能及其相關知識的系統學習，可以培養數學思維（mathematical thinking）、邏輯思維（reasoning thinking）、計算思維（computational thinking）、藝術思維（artistic thinking）、創新思維（innovative thinking）與數據思維（data thinking），即MRCAID。然而遺憾的是，目前市場上既能較綜合介紹人工智能相關知識，又能輔以程序代碼解決問題，同時還能迅速入門的圖書并不多見。因此筆者策劃了本系列圖書，以期實現體系內容較全、配合程序操練及上手簡單方便等特點。
本書以數據素養為主線，按照如下內容進行組織：第1章介紹什么是數據素養、數據的類型以及人工智能與數據的關系；第2章介紹認識數據規律中涉及的隨機等相關概念，為認識數據、理解數據以及利用數據奠定基礎；第3章介紹如何獲取數據以及清洗數據的相關知識與技能，這也是利用機器學習等算法分析問題的前提；第4章圍繞數據的一些特征以及數據的可視化相關內容展開探討，進一步加深對數據的理解；第5章系統闡述了數據的特征這一概念以及如何善用特征發現問題、分析問題；第6章介紹了圖像、文本等非結構化數據的處理技能，為人工智能相關算法處理圖像、文本鋪平道路；第7章結合數據分析、數據可視化以及簡單的人工智能算法，給出了幾個數據賦能課堂的案例。本書的附錄部分，介紹了抽樣分布與參數估計、假設檢驗及Python實驗室Jupyter Lab的使用。
本書的出版要感謝曾提供熱情指導與幫助的院士、教授、中小學教師等專家學者，也要感謝與筆者一起并肩參與寫作的其他作者，同時還要感謝化學工業出版社編輯老師們的熱情支持與一絲不茍的工作態度。
在本書的出版過程中，未來基因 ( 北京 ) 人工智能研究院、騰訊教育、阿里云、科大訊飛等機構給予了大力支持，在此一并表示感謝。
由于筆者水平有限，書中內容不可避免會存在疏漏，歡迎廣大讀者批評指正并提出寶貴意見。

龔超
2023年4月于清華大學

龔超，工學博士，清華大學日本研究中心主任助理，深圳清華大學研究院下一代互聯網研發中心核心成員，?？诮洕鷮W院雅和人居工程學院客座教授。中國高科技產業化研究會理事、中國自動化學會普及工作委員會委員、中國人工智能學會中小學工作委員會委員、教育部教育信息化教學應用實踐共同體項目特聘專家。研究方向為人工智能優化算法，人工智能在數字化轉型中的應用等。著有10本人工智能相關圖書，多家500強企業數字化轉型領域高級顧問，在國內外期刊上發表文章共計60余篇。
 
鄭子杰，北京大學學士、博士，信號與信息處理專業。北京市十一學校數學教師，人工智能課程負責人，幫助學校開發人工智能相關的課程體系。在學校期間與學校信息技術教師共同開發的人工智能普及課程 "人工智能技術與應用"，在2021年4月被認定為北京市第一批普通高中特色課程。在各類學術期刊和會議上發表論文40余篇。
 
汪輝，磊垚創投管理合伙人，未來基因（北京）人工智能研究院特聘專家，上市公司獨立董事，投資并服務數百家新三板/北交所企業。研究方向知識圖譜技術、人工智能在知識產權保護中的應用等。

“人工智能超入門叢書”面向人工智能各技術方向零基礎的讀者，內容涉及數據思維、機器學習、視覺感知、情感分析、搜索算法、強化學習、知識圖譜、專家系統等方向，輔以程序代碼解決問題，幫助讀者快速入門。
《數據素養：人工智能如何有據可依》是“人工智能超入門叢書”中的分冊，主要講解數據的重要性，重點解讀處理數據的各種方法，培養讀者的數據素養和數據思維。具體內容包括數據規律、數據收集、數據清洗、數據可視化，以及特征構建、圖像處理、文本分析等，同時在本書最后一章，分析了各個學科中如何運用數據思維處理問題。
本書內容通俗易懂，可以作為人工智能及計算機相關工作崗位技術人員的入門讀物，對數據及人工智能方向感興趣的人群也可以閱讀。

第1章　數據概述 001
1.1 數字化社會與數據思維 002
1.1.1　數字的社會早已到來 002
1.1.2　人人都該提升數據素養 004
1.1.3　化無形為有形，化抽象為具體 006
1.2 數據的含義與類型劃分 007
1.2.1　數據的狹義含義 007
1.2.2　數據的廣義含義 009
1.2.3　數據類型的劃分 010
1.3 人工智能與數據 011
1.3.1　新時代的金礦——數據 011
1.3.2　將數據轉化為洞見 012
1.3.3　警惕選擇偏見與數據偏見 013

第2章　隨機世界中的數據規律 016
2.1 隨機現象 017
2.1.1　生活中的隨機現象 017
2.1.2　隨機試驗 019
2.2 隨機變量與數據中的隨機 024
2.2.1　隨機變量及其分布 024
2.2.2　數據中的隨機性 028
2.3 數據的形態與中心極限定理 030
2.3.1　正態分布 030
2.3.2　中心極限定理 033

第3章　數據收集與整理 036
3.1 如何獲取數據 037
3.1.1　獲取一手數據 037
3.1.2　獲取二手數據 048
3.2 “二維”視角看數據 054
3.2.1　二維表 054
3.2.2　二維表的基本操作 059
3.3 如何清洗數據 063
3.3.1　數據的格式化與結構化 064
3.3.2　缺失值與異常值 066

第4章　數據的描述與可視化 070
4.1 數據的集中、離中趨勢 071
4.1.1　數據的集中趨勢 071
4.1.2　數據的離中趨勢 075
4.2 數據的變換 077
4.2.1　數據的無量綱化 077
4.2.2　連續型變量的變換 080
4.2.3　類別特征的變換 083
4.3 數據的可視化 084
4.3.1　科學繪圖 084
4.3.2　可視化的重要性 096
4.3.3　數據形態看數據 104

第5章　特征的構建與關聯 112
5.1 特征的創建與選取 113
5.1.1　特征的創建 113
5.1.2　與時俱進選取指標 115
5.2 特征的擴充與降維分析 117
5.2.1　特征的擴充 117
5.2.2　降維分析 121
5.3 特征間的關系 126
5.3.1　相關≠因果 126
5.3.2　相關系數 128
5.3.3　從相關到回歸 132

第6章　非結構化數據的結構化 141
6.1 用“二維表”的結構理解數據 142
6.2 圖像即矩陣 145
6.2.1　用矩陣視角打開圖像 145
6.2.2　圖像特征的處理 150
6.3 文本的向量之路 156
6.3.1　文本的分詞、清洗與整理 156
6.3.2　從句子到向量的詞袋模型 167
6.3.3　Word2Vec讓詞語變向量 171

第7章　無數據，不課堂 176
7.1 數據與算法，打開另一扇窗 177
7.1.1　語文——水滸傳 177
7.1.2　物理——伏安法測電阻 178
7.1.3　生物——鳶尾花分類 180
7.2 可視化，讓內容更加圖強 183
7.2.1　數學——二次函數性質分析 183
7.2.2　英語——I have a dream 185
7.2.3　化學——繪制元素周期表 186
7.2.4　歷史——中國歷史人口數據可視化 189
7.2.5　地理——衛星影像圖 193

附錄  196
附錄一　抽樣分布與參數估計 197
附錄二　假設檢驗 208
附錄三　騰訊扣叮Python實驗室：Jupyter Lab使用說明 214