【基于微博的輿情監測與分析的研究】 微博輿情監測中心

來源:思想匯報 發布時間:2019-08-17 04:56:15 點擊:

  摘要:微博憑借其操作簡單、互動性強、傳播迅捷的特點,發展飛速。微博不僅已經滲透到社會各個方面,而且日益成為新聞輿論的重要源頭。網絡輿情的形成和傳播呈現的是病毒爆發式的增長方式,能對社會產生巨大的影響。但基于微博的輿情監測和分析還是比較貧乏的。在輿情監測和分析研究的基礎上設計與實現了基于微博的Scool輿情監測分析系統。針對微博覆蓋面廣、用戶基數大、數據量巨大、更新速度快的特點,在此系統中信息的存儲采取的是NoSQL與關系數據庫結合的方式。
  關鍵詞:微博; 輿情監測; 輿情分析; Scool; NoSQL
  中圖分類號:TP311 文獻標識碼:A文章編號:2095-2163(2013)02-0050-04
  0引言
  目前,隨著網絡全球化的進程加快以及移動技術的推廣,微博已經成為了網絡輿情的主要源頭和有效傳播路徑。由于微博具有的進入門檻低、操作便捷、互動性強等特點,近兩年在全國得到了迅速的普及,獲得廣泛的應用。但是不可忽視的隱患也隨之呈現。微博已經成為了各種謠言和違法信息滋生、蔓延的主要平臺,對社會也造成了無法預知的不良影響。因此,開展微博的輿情監控和分析研究已是大勢所趨,勢在必行。
  1研究現狀
  目前,已有針對網絡輿情分析和挖掘的軟件產品,較典型的有 Autonomy 網絡輿情聚成系統、Goonie 互聯網輿情監測系統、TRS 互聯網輿情信息監控系統、方正智思輿情預警輔助決策支持系統、中科點擊(北京)科技有限公司研發的軍犬網絡輿情監控系統等。這些系統均能對網絡輿情發揮一定的監測、分析和預警的作用,為社會和諧穩定提供了有效的技術和決策支持。雖然如此,但針對微博輿情監測和分析的大部分系統卻沒有充分考慮到微博用戶基數大、覆蓋面廣、數據量巨大、更新速度快的特點,而在這種情況下,采用普通的關系數據庫顯然無法滿足要求,因此,引入NoSQL技術存儲數據則是一個頗有前景的發展方向。
  2微博輿情傳播特點
  基于上述對微博使用方式的分析,決定了微博輿情的傳播將具有如下特點:
  (1)信息生成和傳播簡便。只要簡單操作,就可以第一時間關注微博新聞中的相關人物,或轉發傳統新聞和論壇中的內容,而且由于移動終端對微博的支持,微博就超越了時間與地域的限制,完全實現了微博的簡便簡易性。
  (2)傳播信息快捷。僅以“7 .23”動車事件為例,2011 年7 月23 日晚20 點38 分事故發生,4分鐘后網友發出了第一條微博,比傳統媒體提早了兩個多小時。
  (3)病毒爆發式的信息傳播模式。消息一經發出,用戶的所有關注者都能收到,而這一群體再亦如此繼續向外傳播,則微博信息就呈現了病毒爆發式擴散傳播的態勢。
  3基于noSQL的數據庫設計
  NoSQL最初出現于2009年6月11日由Oskarsson在舊金山發起并組織的一個非正式會議上。NoSQL是當下數據庫家族的外來者,雖然有些通用的特征,但卻沒有一個特征得到了明確定義。
  根據輿情監控系統的數據實際情況,在其系統的數據庫設計中引入NoSQL,當寫入數據時,可在MySQL、NoSQL中分別寫入一條數據的不同字段,而讀取數據時,則從MySQL、NoSQL組合字段完成讀取。這一讀/寫過程如圖1所示。
  在如圖1所示的組合結構中,MySQL中存儲著需要查詢字段中的數字、時間等類型的小字段,其后按照查詢建立相應的索引,而NoSQL中則存儲著包括大文本字段在內的其他并不需要的字段。查詢過程可描述為,首先將數據主鍵從MySQL中查詢出來,再從NoSQL中直接取出對應的數據。
  文中設計的架構模式使得MySQL和NoSQL能夠各自發揮所長,即由MySQL實現關系存儲,而NoSQL則實現數據存儲。這種設計的優點如下:節省MySQL的IO開銷、提高MySQl Query Cache緩存命中率、改進了MySQL主從同步效率、提升了MySQL數據備份和恢復的速度、具有更好的擴展性。
  還需一提的是,這種以MySQL為主、NoSQL為輔的架構設計與MySQL的單體架構相比,系統的多樣性能和可擴展性均得到了有效提高。
  4基于微博的Scool輿情監測分析系統設計與實現
  基于微博的Scool輿情監測分析系統旨在取代傳統的人工收集和監控工作,實現深入、高效挖掘,并實時得到微博網絡中相對敏感的輿論信息,以警示管理人員及時采取相應措施。
  基于微博的Scool輿情監測分析系統的實現過程是,每日需定時、周期地對新浪微博、騰訊微博、網易微博、搜狐微博進行網頁抓取后,并對其內容實行解析后存入數據庫,而后通過分詞索引以建立搜索引擎,實現數據索引,再通過用戶設定的關鍵詞庫對采集的數據進行關鍵詞集過濾,由此獲得敏感輿情信息文本返回給用戶界面。系統還應對收集的信息進行自然語言處理,從而識別得到熱點話題和熱門事件。
  4.1軟件體系結構
  系統分為后臺數據分析模塊和前臺數據展示模塊。后臺模塊負責實現數據抓取與分析,是系統的核心。前臺模塊負責完成微博、Web數據展示和基本維護操作。
  4.1.1前臺結構
  前臺展示程序分為四大塊,分別是:輿情信息展示、輿情搜索、用戶監控網址和關鍵詞設置、用戶登錄與管理。其中,輿情整體全面展示則按五類來進行和表現,分別是:最新輿情展示、按網站類型展示、按監控網址展示、按話題事件展示和輿情統計。前臺模塊的結構框架如圖2所示。
  前臺展示程序主要基于JAVA開源SSH框架來進行構建而得以實現,其設計結構如圖3所示。
  在本系統的架構設計中,將在表示層上構設的Struts框架,在業務邏輯層構設的Spring框架以及在數據訪問層構設
  (1)表現層使用JSP來實現構建,為客戶端提供對應用程序的訪問;   (2)控制層接受客戶端的請求,并根據不同的請求調用相應的事務邏輯,再將處理結果返回到相關的頁面;
  (3)業務邏輯層用來提供相關的業務邏輯;
  (4)數據訪問層提供對數據庫的各種操作。
  系統設計中的三大框架有機配合、協調統一,其各自實現功能為:
  在表現層中,由Struts框架負責處理JSP頁面的請求和轉發工作;在系統中用Hibernate來封裝數據庫的連接類,通過該框架所提供的注解方式實現了實體類與數據庫表結構間的映射關系,并由該框架完成在數據訪問層與數據庫間的交互工作,再通過Hibernate框架的二級緩存EHCache提供對用戶關鍵詞和行業惡劣情感詞的高效緩存。此外,系統使用Spring框架作為系統運行輕量級的容器,負責在業務邏輯層處理業務邏輯工作。通過在配置文件中設置對象的創建方式及對象之間的關系,即可由Spring框架的IoC的容器來創建對象,同時也維護對象之間的依賴關系。通過這三大框架的整合,有效降低了系統中各模塊之間的相關性,由此形成一個結構科學、功能強大和層次清晰的框架體系。
  4.1.2后臺結構
  由圖6可知道,后臺結構可分為數據緩沖池隊列,線程池線程和數據庫三部分。其中,緩存隊列負責數據流的來源,關鍵處理流程則拆分至各個線程中獨立實現;線程控制數據緩存池中數據流的走向,各線程本身的并發運行均交由線程池實現統一管理。數據庫則采用上述的NoSQL與關系數據庫相結合的對應技術來主導實現。
  4.2系統實現
  用戶注冊、登錄系統后,可以點擊頁面上的相應標簽來查看有關的輿情記錄。同時,系統也會將每天最新的輿情記錄完整、清晰地呈現。用戶還可以點擊更多的輿情鏈接來查看當日之前任何一天的輿情記錄。
  可以點擊系統主頁上的輿情搜索標簽來進行包含指定關鍵詞的輿情記錄,搜索頁面如圖7所示。在輸入框中輸入關鍵詞,就可以看到相關的信息
  5.結束語
  在Scool輿情監測和分析系統設計與實現過程中,有關信息存儲方面,本文主要提出了NoSQL和MySQL相結合的方法。實驗證明,采用這種信息存儲的方法可節省MySQL的IO開銷、提高MySQL數據備份和恢復的速度、且比以前更容易實現擴展。對其后類似系統的設計提供了有益借鑒,并顯示了一定參考價值。由于時間及技術的限制,測試和抓取的數據還不夠連續和充分,下一步仍可繼續完善和推進這一方面的工作。
  參考文獻:
  [1]賈焰,劉江寧. 微博的輿情特點及其謠言治理[J]. 圖書情報知識,2012(6):7-9.
  [2]張玉峰,何超. 基于Web挖掘的網絡智能分析研究[J]. ITA,2011(4):64-68.
  [3]汝艷紅. 微博信息傳播的特點及發展趨勢[J]. 青年記者,2012(8):27-30.
  [4]鐘瑛,劉利芳. 微博傳播的輿論影響力[J]. 新聞與傳播研究,2013(2):8-12.
  [5]FOWLER M. NoSQL Distilled[M]. 2009:1-20
  [6]齊海鳳. 網絡輿情熱點發現與事件跟蹤技術研究[D]. 哈爾濱:哈爾濱工程大學,2006:11-30.
  [7]林大云. 基于Hadoop的微博信息挖掘[J]. 計算機光盤軟件與應用,2012(1):7-9.
  [8]曾潤喜. 網絡輿情管控工作機制研究[J]. 圖書情報工作,2009(18):79-82.

推薦訪問:不厭其煩 不厭其煩 不厭其煩 不厭其煩
上一篇:網絡是怎樣毀掉男女約會的 四個字毀掉一場約會
下一篇:最后一頁

Copyright @ 2013 - 2018 韓美范文網- 精品教育范文網 All Rights Reserved

韓美范文網- 精品教育范文網 版權所有 湘ICP備11019447號-73

大胖彩票 平昌县 | 惠安县 | 辽中县 | 香港 | 卢龙县 | 仁怀市 | 桐柏县 | 固安县 | 武冈市 | 曲水县 | 论坛 | 桂林市 | 昌吉市 | 高邑县 | 明水县 | 巴彦淖尔市 | 湖北省 | 郑州市 | 平顺县 | 筠连县 | 绍兴市 | 山阳县 | 济源市 | 海丰县 | 阳高县 | 石台县 | 水富县 | 文昌市 | 宁河县 | 利辛县 | 东兰县 | 仁布县 | 修武县 | 仪征市 | 涟水县 | 共和县 | 和平县 | 徐水县 | 威远县 | 临汾市 | 湘阴县 | 安顺市 | 丹凤县 | 丹东市 | 盖州市 | 青河县 | 青铜峡市 | 华蓥市 | 麻城市 | 尼勒克县 | 弋阳县 | 凌海市 | 武隆县 | 霞浦县 | 大石桥市 | 讷河市 | 类乌齐县 | 勃利县 | 康定县 | 渭南市 | 宁河县 | 达拉特旗 | 贵德县 | 隆昌县 | 宜春市 | 昭平县 | 吉水县 | 松原市 | 杂多县 | 桦南县 | 山西省 | 安徽省 | 镇康县 | 江油市 | 遂昌县 | 霸州市 | 三原县 | 黄龙县 | 龙南县 | 南和县 | 荆门市 | 阳曲县 | 安福县 | 洛浦县 | 安平县 | 绥滨县 | 泗水县 | 康马县 | 蓝山县 | 通渭县 | 肃南 | 嘉兴市 | 东源县 | 罗平县 | 自贡市 | 安丘市 | 武乡县 | 太白县 | 新郑市 | 中卫市 | 无为县 | 马龙县 | 旬阳县 | 济源市 | 南充市 | 海伦市 | 聂荣县 | 扎囊县 | 蓝山县 | 奉新县 | 陈巴尔虎旗 | 武义县 | 阿勒泰市 | 桓台县 | 建昌县 | 潼关县 | 克什克腾旗 | 互助 | 临桂县 | 镶黄旗 | 普陀区 | 济南市 | 宾阳县 | 兴仁县 | 盐边县 | 鹤壁市 | 濮阳县 | 临泉县 | 卫辉市 | 中超 | 昭平县 | 明光市 | 和林格尔县 | 楚雄市 | 清流县 | 昌宁县 | 乌兰察布市 | 丽江市 | 仲巴县 | 墨玉县 | 卓尼县 | 大新县 | 马尔康县 | 乐业县 | 万年县 | 涡阳县 | 凉山 | 重庆市 | 威信县 | 北票市 | 信宜市 | 含山县 | 遵义县 | 瓦房店市 | 南昌县 | 宁明县 | 甘谷县 | 南陵县 | 常州市 | 玉溪市 | 仁怀市 | 眉山市 | 高安市 | 宝清县 | 青河县 | 河源市 | 临汾市 | 巴塘县 | 徐水县 | 遂宁市 | 长治市 | 舒城县 | 兴山县 | 昌都县 | 隆尧县 | 阜新市 | 基隆市 | 郑州市 | 景德镇市 | 镇江市 | 高邑县 | 潼南县 | 泰兴市 | 裕民县 | 明溪县 | 焉耆 | 古浪县 | 邹城市 | 精河县 | 鸡西市 | 新蔡县 | 察雅县 | 乌兰县 | 贵南县 | 洱源县 | 灵武市 | 华蓥市 | 怀集县 | 孟州市 | 尼勒克县 | 弥渡县 | 海晏县 | 焦作市 | 阿拉善左旗 | 千阳县 | 汶上县 | 安新县 | 德安县 | 阳西县 | 蕉岭县 | 彭阳县 | 嘉兴市 | 鲁山县 | 本溪市 | 吉木萨尔县 | 虹口区 | 石柱 | 宁陵县 | 莱西市 | 五台县 | 澄迈县 | 客服 | 辽宁省 | 乃东县 | 新疆 | 龙里县 | 苏尼特左旗 | 禄丰县 | 格尔木市 | 铁岭县 | 嘉兴市 | 政和县 | 海丰县 | 亚东县 | 兴海县 | 江津市 | 晋江市 | 柞水县 | 建始县 | 南宫市 | 旬邑县 | 胶州市 | 洛扎县 | 阳泉市 | 将乐县 | 郓城县 | 奎屯市 | 武川县 | 裕民县 | 津市市 | 闵行区 |