小說數據分析軟件（小說數據分析師）

本篇文章給大家談談小說數據分析軟件，以及小說數據分析師對應的知識點，希望對各位有所幫助，不要忘了收藏本站喔。 今天給各位分享小說數據分析軟件的知識，其中也會對小說數據分析師進行解釋，如果能碰巧解決你現在面臨的問題，別忘了關注本站，現在開始吧！

本文目錄一覽：

• 1、常用統計分析軟件匯總
• 2、寫小說用什么軟件好？
• 3、正在編寫一個軟件，小說閱讀器，急需數據庫詳細設計，求高人指點
• 4、MapReduce之金庸的江湖人物分析項目
• 5、智能分析的軟件哪款用著好？

常用統計分析軟件匯總

我們在工作過程中或者更在找工作的過程中，常常發現大家數據分析的軟件或統計分析的軟件有很多。我們這里對常用的統計分析軟件做一個簡單的介紹。

Excel是我們最常見的辦公工具，對于數據量并不是很大的數據，Excel可以很靈活便捷的處理。其便利程度甚至高于以下提及的任何一個軟件。所以Excel一定要學好，不僅要掌握好Excel基本的功能，還要熟練使用Excel公式、Excel圖表等功能。

可以說是目前最標準的最權威的統計學軟件。SAS是一個程序化的軟件，這么說是因為在SAS中用程序寫比用菜單要簡便快捷。廣泛應用于銀行、金融行業、生物醫藥等行業。
SAS既可以處理橫截面數據、時間序列數據，也可以處理面板數據。

擅長處理橫截面數據。SPSS的界面和菜單做的很優秀（除了翻譯不標準很讓人無奈之外），其外觀基本上和Excel很像。在SPSS的使用過程中，我們可以用菜單很方便快捷進行操作。這很方便初學者進行學習，而不用特意去學習編寫程序。廣泛應用于電信行業、市場咨詢行業。如果數據量在幾千萬行，用SPSS和SAS處理時長差不多。但是對于更大的數據量（億以上級別），SAS就會比SPSS在處理速度上凸顯優勢。

擅長處理時間序列數據，計量經濟學方向應用廣泛。

擅長處理面板數據。和SPSS用戶群重疊度比較高。

R語言對于橫截面數據、時間序列數據、面板數據都能處理。其特點在于R軟件是開源的軟件，其中有異常豐富（約有1萬多個）的可以調用的“包”。

本身不是統計學軟件，但是其中有統計工具箱。工程領域用的多。

其實作為一名數據分析師來說，以上的分析軟件并不需要每一個都掌握，我們只需要精通最擅長的一門，同時掌握另外一門作為輔助也就可以了。這就像是武俠小說里面的大俠，一定有最擅長的一門兵器，但是同時呢，肯定也有其他能夠使得上手的兵器。而關于到底使用什么軟件呢？一定要根據以上提及的軟件的特點，結合上行業的特點來決定。任何脫離行業和業務的數據分析都無從談起。
另外，這里不得不提及一個問題，以上的各個數據分析軟件是否有高低貴賤之分呢？我個人認為是沒有的。其道理就像是，我們在選擇不同的工具，其出發點都在于這個工具一定可以最快捷方便的解決目前的問題。殺雞焉用牛刀，殺雞用殺雞刀，宰牛當然用牛刀。

寫小說用什么軟件好？

橙瓜碼字作為支持Windows/MacOS/iOS/Android手機電腦多端環境運行小說數據分析軟件的專業寫作軟件小說數據分析軟件，自2019年2月上線內測。4月公測，5月正式上線，一路走來倍受用戶推崇和喜愛。
橙瓜碼字是橙瓜為作家量身打造的專業碼字工具，各種貼心功能設計讓碼字變得輕松，如今橙瓜碼字已經更迭到5.0版本，讓我們著重向您介紹一下橙瓜碼字的幾大核心功能吧。
一，多平臺和系統兼容，手機電腦一鍵儲存云同步
多平臺云同步，支持電腦、手機端和平板電腦，蘋果和安卓，只需一個賬號，就可以同步在線，云端儲存，隨時備份。伴隨著網絡文學的發展，網絡文學創作者的職業和身份也越來越多元化，從學生到職場白領，從家庭主婦到農民工人，大家紛紛開始利用閑暇時間進行網絡文學創作。
不同的平臺和一個賬號多平臺數據共通云同步也給大家帶來小說數據分析軟件了便利，無論是在學校的課余時間，出差時無法攜帶電腦還是上班的途中，手機、電腦、平板都可以成為小說數據分析軟件你的碼字工具，橙瓜碼字讓你的文學創作更加方便。
二，時光機云端和本地備份，不怕丟稿
電腦手機突然沒電關機等情況是許多作者會面對的問題，突發狀況的產生使得很多人無法找回自己花了幾十分鐘甚至幾個小時寫好的稿子，橙瓜碼字時光機每章有十個云端備份以及一個本地備份，完全不擔心丟稿，面對突發情況也能通過時光機馬上恢復自己的辛苦勞動成果。
三，小黑屋強制鎖定，戰隊房間在線拼字告別懶惰
小黑屋強制鎖定和在線拼字功能，讓你告別懶惰和孤獨的碼字方式。擁有小黑屋模式的橙瓜碼字，擁有時間和字數鎖定碼字，當你完成設定目標之后，將無法離開碼字頁面，幫助你專注于寫作，提高效率。除此之外，橙瓜碼字還推出了戰隊模式和拼字玩法，用戶可以加入自己喜歡的戰隊，不僅能一起碼字，還能一起聊天分享趣事和想法，房間拼字可以進行隨機匹配或者指定加入，在設定了目標字數的房間，拼字模式不僅能獲得大量的橙瓜幣獎勵，還能激勵自己提高速度去競爭，多種碼字互動玩法，讓碼字多些樂趣
四，一鍵投稿，秒殺商城，讓你的創作無后顧之憂
數據統計功能和護眼模式是橙瓜推出的人性化設計，橙瓜碼字不僅擁有多款護眼皮膚，還能在設計界面自定義皮膚背景，讓你碼字的眼睛不再疲勞。數據統計可以實時計算碼字速度和每天碼字記錄，還能設定稿費標準進行稿費計算，實時看到自己的稿費收入。
網絡文學的篇幅和劇情的創作讓作者面對很多問題，取名困難或者有時候在不知情的情況下文章內帶有了敏感詞。在這里橙瓜碼字的功能敏感詞一鍵查找替換就讓你擺脫了煩惱，橙瓜不僅自帶海量的敏感詞庫，還支持作家自定義添加，能讓你實時更新敏感詞庫。
而橙瓜的隨機取名可以一鍵隨機生成人名、地名、武器、功法等各種名字，讓你碼字取名又快又好聽。橙瓜碼字的導入導出功能支持多種文本的導入和導出，方便用戶對文件進行轉換存儲，橙瓜碼字更是具有一鍵排版的功能，讓你的排版不再是問題。
最主要的是本次橙瓜碼字更新還增加了一鍵投稿功能，匯聚了全文男頻，女頻和二次元等信譽網站的投稿方式，只需要在橙瓜碼字頁面點擊按鈕，就能獲取最全的投稿方式。
此次橙瓜碼字5.0版本不僅對于以上功能進行了優化和升級，更是添加了兩大重量級功能——橙瓜數據的融合以及橙瓜秒殺商城的上線，橙瓜數據對全網數十個網站進行排名和數據分析，讓你在碼字之余也能實時掌握網絡文學行業動向和風向。
橙瓜碼字一直致力于服務和回報網絡文學行業，作者可以通過碼字、簽到等方式免費獲得橙瓜幣，橙瓜幣可以免費在橙瓜碼字上兌換橙瓜碼字會員，開啟炫酷的碼字特效和音效。更主要的是橙瓜秒殺商城定期上線大神簽名書、橙瓜定制品、大神周邊等可以被橙瓜幣免費兌換的好物，讓作者更有碼字的動力。
在橙瓜碼字的用戶支持下，橙瓜碼字已經更新到了5.0版本，不斷的優化和升級，讓橙瓜碼字功能越來越齊全強大，越來越好用，同時也顯示了橙瓜碼字的追求——打造最好用的碼字軟件，致力于服務網絡文學以及網絡文學相關行業，和網絡文學的諸位走向美好而又更光明的明天。

正在編寫一個軟件，小說閱讀器，急需數據庫詳細設計，求高人指點

建議用Access或mysql
主表：小說名ID、小說名稱
從表：小說ID、章節ID、章節名稱、章節內容（根據不同的數據庫而定字段類型，Access用memo字段）
在存入章節內容的時候，建議用固定長度字段流的形式存入。每一段“流”新建一條記錄。
沒有太多時間看，這點建議希望對你有用

MapReduce之金庸的江湖人物分析項目

通過一個綜合數據分析案例：”金庸的江湖——金庸武俠小說中的人物關系挖掘“，來學習和掌握MapReduce程序設計。通過本項目的學習，可以體會如何使用MapReduce完成一個綜合性的數據挖掘任務，包括全流程的數據預處理、數據分析、數據后處理等。
1 任務1 數據預處理
1.1 任務描述
從原始的金庸小說文本中，抽取出與人物互動相關的數據，而屏蔽掉與人物關系無關的文本內容，為后面的基于人物共現的分析做準備。

1.2 關鍵問題
1.2.1 中文分詞和人名提取
使用開源的Ansj_seg進行分詞。Ansj_seg不僅支持中文分詞，還允許用戶自定義詞典，在分詞前，將人名列表到添加用戶自定義的詞典，可以精確識別金庸武俠小說中的人名。
但實際測試的時候發現，Ansj_seg分詞會出現嚴重的歧義問題，比如“漢子”屬于人名列表中的人名(nr)，但Ansj_seg可能會錯誤地將它分類為名詞(n)。因此，如果根據詞性提取人名，會導致最后提取的人名太少。解決方法是在提取人名的時候，需要在將人名加入用戶自定義詞典的同時，構造一個包含所有人名的字典，對分詞的結果逐個進行測試，如果在字典里，就是人名。
1.2.2 文件傳輸
使用HDFS傳遞數據?？紤]到人名列表文件已經存放在了HDFS里，所以使用HDFS的方式不需要移動人名列表文件，只需要在Configuration中設置文件在HDFS文件系統中的路徑，然后在Mapper的setup()函數里調用HDFS的函數獲取文件內容即可。
1.2.3 單詞同現算法
兩個單詞近鄰關系的定義：實驗要求中已經說明，同現關系為一個段落。
段落劃分：非常慶幸的是，小說原文中一個段落就是一行，因此，不需要自己定義FileInputFormat和RecordReader。
1.3 MapReduce設計
1.3.1 Mapper

1.3.2 Reducer

1.3.3 Driver

2 任務2 特征抽取：人物同現統計
2.1 任務描述
完成基于單詞同現算法的人物同現統計。在人物同現分析中，如果兩個人在原文的同一段落中出現，則認為兩個人發生了一次同現關系。我們需要對人物之間的同現關系次數進行統計，同現關系次數越多，則說明兩人的關系越密切。

2.2 關鍵問題
2.2.1 人名冗余
在同一段中，人名可能多次出現，任務一只負責提取出所有的人名，沒有剔除多余的人名，任務必須在輸出同現次數之前處理冗余人名。我的做法是在Mapper中創建一個集合，把所有人名放入集合中，集合會自動剔除冗余的人名。
2.2.2 同現次數統計
兩個人物之間應該輸出兩個鍵值對，如“狄云”和“戚芳”，應該輸出“<狄云，戚芳 1”和“<戚芳，狄云 1”。多個段落中允許輸出相同的鍵值對，因此，Reducer中需要整合具有相同鍵的輸出，輸出總的同現次數。
2.3 MapReduce設計
2.3.1 Mapper

2.3.2 Reducer

3 任務3 特征處理：人物關系圖構建與特征歸一化
3.1 任務描述
根據任務2人物之間的共現關系，生成人物之間的關系圖。人物關系使用鄰接表的形式表示，人物是頂點，人物之間關系是邊，兩個人的關系的密切程度由共現次數體現，共現次數越高，邊權重越高。另外需要對共現次數進行歸一化處理，確保某個頂點的出邊權重和為1。

3.2 關鍵問題
3.2.1 確保人物的所有鄰居輸出到相同結點處理
在Mapper結點將輸入的鍵值對“<狄云，戚芳 1”拆分，輸出新的鍵值對“<狄云 戚芳:1”，“狄云”的所有鄰居會被分配給同一個Reducer結點處理。
3.2.2 歸一化
在Reducer結點首先統計該人物與所有鄰居同現的次數和sum，每個鄰居的的同現次數除以sum就得到共現概率。為了提高效率，在第一次遍歷鄰居的時候，可以把名字和共現次數保存在鏈表里，避免重復處理字符串。
3.3 MapReduce設計
3.3.1 Mapper

3.3.2 Reducer

4.1 任務描述
經過數據預處理并獲得任務的關系圖之后，就可以對人物關系圖作數據分析，其中一個典型的分析任務是：PageRank 值計算。通過計算 PageRank，我們就可以定量地獲知金庸武俠江湖中的“主角”們是哪些。
4.2 PageRank原理
PageRank算法由Google的兩位創始人佩奇和布林在研究網頁排序問題時提出，其核心思想是：如果一個網頁被很多其它網頁鏈接到，說明這個網頁很重要，它的PageRank值也會相應較高；如果一個PageRank值很高的網頁鏈接到另外某個網頁，那么那個網頁的PageRank值也會相應地提高。
相應地，PageRank算法應用到人物關系圖上可以這么理解：如果一個人物與多個人物存在關系連接，說明這個人物是重要的，其PageRank值響應也會較高；如果一個PageRank值很高的人物與另外一個人物之間有關系連接，那么那個人物的PageRank值也會相應地提高。一個人物的PageRank值越高，他就越可能是小說中的主角。
PageRank有兩個比較常用的模型：簡單模型和隨機瀏覽模型。由于本次設計考慮的是人物關系而不是網頁跳轉，因此簡單模型比較合適。簡單模型的計算公式如下，其中Bi為所有連接到人物i的集合，Lj為認為人物j對外連接邊的總數：

在本次設計的任務3中，已經對每個人物的邊權值進行歸一化處理，邊的權值可以看做是對應連接的人物占總邊數的比例。設表示人物i在人物j所有邊中所占的權重，則PageRank計算公式可以改寫為：

4.3.2 PageRanklter類
GraphBuilder將數據處理成可供迭代的格式，PageRank的迭代過程由PageRanklter類實現，包含一個Map和Reduce過程。Map過程產生兩種類型的<key,value：<人物名，PageRrank值，<人物名，關系鏈表。第一個人物名是關系鏈表中的各個鏈出人物名，其PR值由計算得到；第二個人物名是本身人物名，目的是為了保存該人物的鏈出關系，以保證完成迭代過程。以上面的輸出為例，則Map過程產生的鍵值對為<完顏萍, 1.0 0.005037，<小龍女, 1.0 0.017632，……，<一燈大師, #完顏萍:0.005037783;……。
Reduce過程將同一人物名的<key,value匯聚在一起，如果value是PR值，則累加到sum變量；如果value是關系鏈表則保存為List。遍歷完迭代器里所有的元素后輸出鍵值對<人物名，sum#List，這樣就完成了一次迭代過程。
PR值排名不變的比例隨迭代次數變化的關系圖如下，由于我們考慮的是找出小說中的主角，所以只要關心PR值前100名的人物的排名的變化情況，可以看到迭代次數在10以后，PR值排名不變的比例已經趨于穩定了，所以基于效率考慮，選取10作為PR的迭代次數。
4.3.3 PageRankViewer類
當所有迭代都完成后，我們就可以對所有人物的PageRank值進行排序，該過程由PageRankViewer類完成，包含一個Map和Reduce過程。Map過程只提取迭代過程輸出結果中的人物名以及對應的PageRank值，并以PageRank值作為key，人物名作為value輸出。為了實現PageRank值從大到小排序，需要實現DescFloatComparator類來重寫compare方法以達成逆序排序。由于可能存在PageRank值相同的情況，所以還需要一個reduce過程來把因PageRank值相同而匯聚到一起的人物名拆開并輸出。

PageRankMapper

PageRankReducer

Driver類

5.1 任務描述
標簽傳播（Label Propagation）是一種半監督的圖分析算法，他能為圖上的頂點打標簽，進行圖頂點的聚類分析，從而在一張類似社交網絡圖中完成社區發現。在人物關系圖中，通過標簽傳播算法可以將關聯度比較大的人物分到同一標簽，可以直觀地分析人物間的關系。
5.2 標簽傳播算法原理
標簽傳播算法（Label Propagation Algorithm，后面簡稱LPA）是由Zhu等人于2002年提出，它是一種基于圖的半監督學習方法，其基本思路是用已標記節點的標簽信息去預測未標記節點的標簽信息。LPA基本過程為：（1）每個結點初始化一個特定的標簽值；（2）逐輪更新所有節點的標簽，直到所有節點的標簽不再發生變化為止。對于每一輪刷新，節點標簽的刷新規則如下：對于某一個節點，考察其所有鄰居節點的標簽，并進行統計，將出現個數最多的那個標簽賦值給當前節點。當個數最多的標簽不唯一時，隨機選擇一個標簽賦值給當前節點。
LPA與PageRank算法相似，同樣需要通過迭代過程來完成。在標簽傳播算法中，節點的標簽更新通常有同步更新和異步更新兩種方法。同步更新是指，節點x在t時刻的更新是基于鄰接節點在t-1時刻的標簽。異步更新是指，節點x在t時刻更新時，其部分鄰接節點是t時刻更新的標簽，還有部分的鄰接節點是t-1時刻更新的標簽。若LPA算法在標簽傳播過程中采用的是同步更新，則在二分結構網絡中，容易出現標簽震蕩的現象。在本次設計中，我們考慮到了兩種更新方法，并進行了比較。
5.3 標簽傳播算法在mapreduce上的實現細節
5.3.1 LPAInit類
為實現LPA的迭代過程，需要先給每個人物賦予一個獨特標簽，標簽初始化由LPAInit類完成，僅包含一個Map過程。標簽由數字表示，Map過程由1開始，為每一個人物名賦予一個獨特的標簽。為了便于后面的可視化分析，我們需要把PageRank值和標簽整合在一起，所以LPAInit的輸入文件直接采用PageRank過程的輸出文件，格式如下：

5.3.2 LPAIteration類
LPAIteration類完成標簽的更新過程，其格式與LPAInit的輸出格式一致，包含一個Map和Reduce過程。Map過程對輸入的每一行進行切割，輸出四種格式的<key,value：<人物名，關系鏈表，<人物名，PageRank值，<人物名，標簽，<鏈出人物名，標簽#起點人物名。第四種格式個鍵值對是為了將該節點的標簽傳給其所有鄰居。
Reduce過程對value值進行識別，識別可以通過Map過程把預先定義好的特殊字符如‘#’、‘@’來實現前綴到value上來實現。由于人物關系圖中的各個邊都是有權重的，并且代表兩個人物的相關程度，所以標簽更新過程不是用邊數最多的標簽而是權重最大標簽來更新，我們可以預先把權重最大的若干個保存到一個鏈表中，如果存在多個權重相同的標簽，則隨機選取一個作為該人名新的標簽。異步方法更新標簽需要使用一個哈希表來存儲已經更新標簽的人物名和它們的新標簽，并且在更新標簽時使用該哈希表里面的標簽。同步方法更新標簽則不需要存儲已更新的標簽。
本次設計中比較了同步和異步更新兩種方法，下圖為標簽不變的比例隨迭代次數的變化?？梢园l現，異步收斂速度更快，只要6次迭代即可完全收斂，且標簽不變的比例可達100%。而同步更新方法則不能達到100%，說明人物關系圖中存在子圖是二部子圖。
5.3.3 LPAReorganize類
LPA算法迭代收斂后，所有人物名的標簽不再變化，但是此時的標簽排列是散亂的，需要把同一標簽的人物名整合在一起。該過程由LPAReorganize類完成，包含一個Map和Reduce過程。Map過程對輸入的每一行進行切割，以<標簽，人物名#PageRank值#關系鏈表格式輸出。Reduce過程中，同一標簽的人物名匯聚在一起，然后根據每個標簽人物集合的大小從大到小排序，重新賦予標簽（從1開始）。這樣輸出文件中同一標簽的人物名就會聚集在一起。最后的輸出格式如下：

5.3.2 LPAMapper類
LPAIteration類完成標簽的更新過程，其格式與LPAInit的輸出格式一致，包含一個Map和Reduce過程。Map過程對輸入的每一行進行切割，輸出四種格式的<key,value：<人物名，關系鏈表，<人物名，PageRank值，<人物名，標簽，<鏈出人物名，標簽#起點人物名。第四種格式個鍵值對是為了將該節點的標簽傳給其所有鄰居。

5.3.2 LPAReducer類
Reduce過程對value值進行識別，識別可以通過Map過程把預先定義好的特殊字符如‘#’、‘@’來實現前綴到value上來實現。由于人物關系圖中的各個邊都是有權重的，并且代表兩個人物的相關程度，所以標簽更新過程不是用邊數最多的標簽而是權重最大標簽來更新，我們可以預先把權重最大的若干個保存到一個鏈表中，如果存在多個權重相同的標簽，則隨機選取一個作為該人名新的標簽。異步方法更新標簽需要使用一個哈希表來存儲已經更新標簽的人物名和它們的新標簽，并且在更新標簽時使用該哈希表里面的標簽。同步方法更新標簽則不需要存儲已更新的標簽。

Driver類

6.1 可視化工具Gephi
Gephi是一款開源的跨平臺的基于JVM的復雜網絡分析軟件。把PageRank和LPA的結果，轉化為gexf格式，在Gephi中繪制圖像并分析大數據實驗結果，更加直觀、易于理解。
gexf實際上是一種特殊的XML文件，python的gexf庫提供了接口方便我們編輯和生成gexf文件，因此我們選擇使用python處理PageRank和LPA的結果。頂點有兩種屬性，LPA生成的標簽和PageRank計算的PR值，每條邊的權重是PageRank計算出的值。在可視化的時候，標簽決定頂點顯示的顏色，PR值決定標簽的
6.2 可視化預處理
編寫一個python程序transform2xml.py，將數據分析部分得到的PR值，標簽以及點連接關系處理成一個可供Gephi讀取的gexf文件。
6.3 可視化結果

7 輸出結果截圖

7.2 同現次數統計

7.4 PageRank

智能分析的軟件哪款用著好？

數據分析最常用的軟件就是EXCEL，比如你要畫一些圖表，像折線圖、柱形圖、餅圖等，EXCEL還是很方便的。專業的分析軟件有很多，比如統計軟件SPSS和SAS，還有R軟件，MINiTAB。數據分析用什么軟件，還是要看你的數據類型和你的分析的目的，如果你需要建模，你可以用SPSS或者SAS，這兩個軟件是世界通用的，里面有很多自動的模型，你只需要進行一些預處理，就可以利用這些模型出結果，但是你要有較深厚的統計學知識，否則結果你會看不懂的。一般的分析，用EXCEL就足夠了，比如數據透視表，可以做很多的分類匯總和篩選，能滿足你一般的分析需求。 關于小說數據分析軟件和小說數據分析師的介紹到此就結束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關注本站。 小說數據分析軟件的介紹就聊到這里吧，感謝你花時間閱讀本站內容，更多關于小說數據分析師、小說數據分析軟件的信息別忘了在本站進行查找喔。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。