思通輿情 是一款開源免費的輿情系統(tǒng)。
支持本地化部署,支持在線體驗。
支持對海量輿情數據分析和挖掘。
無論你是使用者還是共同完善的開發(fā)者,歡迎 pull request 或者 留言對我們提出建議。
您的支持和參與就是我們堅持開源的動力!請?
?star?或者?fork!
思通輿情 的功能:
- 輿情監(jiān)測:通過全文搜索、來源搜索、熱搜監(jiān)測等多重功能實現對全網文本、圖片、視頻輿情實時發(fā)現;
- 輿情預警:根據用戶設置預警條件,判別輿情信息,并第一時間通過多渠道告知用戶;
- 輿情分析:全網事件分析、事件分析、傳播分析、競品分析、評論分析、熱度指數,6類大數據分析;
- 輿情報告:一鍵快速生成日、周、月、季度報告,自帶行業(yè)輿情案例庫,為輿情應對提供參考。
- 智寫報告:提供了豐富的寫作模板和樣式,用戶只需根據模板填充相應內容,后端基于AI技術即可快速生成報告。
在線體驗
- 環(huán)境地址:https://open-yuqing.stonedt.com/
- 打開頁面使用微信掃碼,關注微信公眾號后,直接登錄在線體驗。
思通輿情 的優(yōu)勢:
- 開源開放:零門檻,線上快速獲取和安裝;快速獲取用戶反饋、按月發(fā)布新版本;
- 簡單易用:極易上手,通過鼠標點擊和拖拽即可完成分析;
- 秒級響應:超大數據量下秒級查詢返回延時;
思通輿情 的數據:
- 新聞媒體:新聞、app、電子報;
- 網絡自媒體:搜狐、百家號、今日頭條、博客、企鵝號、微信公眾號、微博;
- 論壇:貼吧、論壇、問答、知乎;
- 短視頻:抖音、快手,等眾多平臺。
思通輿情 的百科:
關于本輿情系統(tǒng)項目的 心路歷程、開發(fā)計劃、入門文檔、團隊介紹、實際案例,等等,
你想知道的一切都在這里:?文檔預覽 - Gitee.com
思通輿情 技術棧:
數據采集
- 開發(fā)平臺:Java J2EE & SpringBoot
- 采集框架:Spider-flow & WebMagic & HttpClient
- APP采集:Xposed框架
- URL倉庫:布隆過濾器 + Redis
- 網頁渲染解析:Jvppeteer & Playwright(微軟開源) & Selenium
- web應用服務器:Nginx & Tomcat
- 儲存任務發(fā)送:Kafka & Zookeeper
- 抓取任務發(fā)送:RabbitMQ
- 配置管理:MySQL
- 前端展示:Bootstrap & VUE
數據處理
- 開發(fā)框架:SpringBoot
- 開發(fā)語言:Java J2EE
- 數據暫存:MySQL
- 數據索引:Redis
- 深度學習:PaddlePaddle
- 自然語言處理:HaNLP & THUCTC
- 數據處理和儲存任務發(fā)送:Kafka & Zookeeper
- 數據中臺:自研 & DataEase
- 數據初始化:集成FlyWay,自動初始化MySQL
- 數據總線:RocketAPI (進行了二次開發(fā))
數據分析
- 數據庫:MySQL
- 數據檢索:Elasticsearch
- 中文分詞器:IK分詞
- 相似度計算:Clickhouse
- 數據同步:DataX
- 文章儲存:Mongodb
- 數據緩存:Redis
- 消息隊列:Kafka & RabbitMQ
- 開發(fā)框架:SpringBoot
- 開發(fā)語言:Java J2EE
- 圖表展示:Apache Echarts & AnyCharts
UI 展示
?
?
?
?
?
?
?
?
?
系統(tǒng)架構
功能架構
開源計劃
-
整個系統(tǒng)分為五個部分:1.數據展示,2.數據處理,3.數據采集,4.數據大屏,5.管理后臺。
-
由于整個系統(tǒng)非常龐大,目前只開源了第一部分 “數據展示”。
-
數據處理 和 數據采集,我們會先開源文檔以及部分代碼。
-
數據大屏 有開源計劃,但是具體時間尚未明確。
-
數據處理 和 數據采集,目前(2022-2-19)文檔和代碼正在規(guī)整中。
-
系統(tǒng)管理后臺 ,將于2022年4月份之前開放源代碼。
-
智寫報告 ,將于2023年10月份之前開放源代碼。(后端引擎由我司寫作寶團隊提供服務與支持)
輿情數據采集
-
目前正在整理編寫文檔,正式發(fā)布時間待定。
【數據采集】技術架構說明文檔
數據采集?系統(tǒng)已經開源,預計2022年6月完成開源計劃。
【數據采集】已經在2023年9月份,重新架構,預計在2024年打算重新開源。
輿情數據處理
-
文檔預計在2022年3月份提到開源社區(qū)。
【數據處理】技術架構說明文檔
【數據處理】 中的核心部分已經開源,請查閱?nlp.stonedt.com?和?AI多模態(tài)能力平臺: 免費的自然語言處理、情感分析、實體識別、圖像識別與分類、OCR識別、語音識別接口,功能強大,歡迎體驗。
輿情數據大屏
- 基礎版輿情大屏,目前已于2023年10月份開源。
自然語言處理
- 思通數科-自然語言處理文本挖掘引擎
系統(tǒng)管理后臺
-
系統(tǒng)很容易上手,簡單易懂。2022年4月份 會全部開放源代碼,同時也會提供運行部署程序下載。
開源代碼訪問地址:思通輿情后臺管理系統(tǒng): 開源免費思通輿情監(jiān)測網絡監(jiān)控系統(tǒng)的后臺管理系統(tǒng),對用戶配置方案和用戶管理的管理系統(tǒng)。該項目與開源輿情系統(tǒng)項目緊密關聯。
Docker 部署
1.安裝Docker
- 對于Ubuntu用戶?
apt install -y docker.io
- 對于Centos用戶?
yum install -y docker
然后啟動Docker服務
systemctl start docker
2.Docker拉取鏡像并運行
在命令行輸入下面一行命令即可完成鏡像的拉取以及運行,拉取鏡像大概需要花費5-10分鐘。
docker run -itd --name stonedt_yuqing -p 8085:8085 registry.cn-beijing.aliyuncs.com/stonedt_yuqing/stonedt_yuqing:1.0.6
3.驗證是否成功運行
使用docker ps命令獲取我們運行的容器ID
docker ps
使用docker logs 容器ID -f 查看容器日志
docker logs 容器ID -f
屏幕出現運行日志即為部署成功?
?訪問地址?http://ip:8085?用戶名13900000000 密碼stonedt
安裝依賴
- JavaEE 8 以上版本;
- MySQL 5.7 以上版本;
- Redis 4.0 以上版本;
詳見思通輿情安裝部署手冊:install_guide.md · 思通數科 StoneDT/開源免費輿情監(jiān)測網絡監(jiān)控系統(tǒng) - Gitee.com
運行版本
僅需五步快速安裝 思通輿情:
-
1.安裝 MySQL 5.7+、redis 4.0+
-
2.下載?stonedt-yuqing.7z,解壓zip包,執(zhí)行?nohup java -jar stonedt-yuqing.jar &,啟動輿情系統(tǒng)。
-
3.下載?opinion_screen.zip,解壓zip包,進入apache-tomcat-8.5.46/bin文件夾.執(zhí)行 ./startup.sh
-
4.配置nginx,在http塊中增加如下內容:
server { listen 8085; server_name 127.0.0.1; location / { proxy_pass http://127.0.0.1:8084; } location /opinion_screen { proxy_pass http://127.0.0.1:8080; } }
-
5.本地訪問:http://127.0.0.1:8085/?用戶名:13900000000, 密碼:stonedt
詳見思通輿情安裝部署手冊:install_guide.md · 思通數科 StoneDT/開源免費輿情監(jiān)測網絡監(jiān)控系統(tǒng) - Gitee.com
備注:修改配置文件[application.yml],設定 MySQL、Redis 用戶和密碼等。 修改配置文件[application.properties],修改xmlFilePath文件路徑,并且拷貝config文件下的xml文件到指定路徑等。 輿情大屏下載地址opinion_screen.zip
安裝手冊
我們把用戶在安裝部署中遇到的問題歸納整理成一份文檔手冊,
詳見思通輿情安裝部署手冊 及 常見問題:
install_guide.md · 思通數科 StoneDT/開源免費輿情監(jiān)測網絡監(jiān)控系統(tǒng) - Gitee.com
產品手冊
https://gitee.com/stonedtx/yuqing/raw/master/產品手冊V1.0.pdf文章來源:http://www.zghlxwxcb.cn/news/detail-850377.html
版本更新
每次版本更新的記錄說明都在此,查看詳情?。文章來源地址http://www.zghlxwxcb.cn/news/detail-850377.html
到了這里,關于思通輿情 是一款開源免費的輿情系統(tǒng) 介紹的文章就介紹完了。如果您還想了解更多內容,請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網!