Data Generation

該是來還債的時候了

先附上R在統計方法上應用用到的packages

各位看倌如果覺得太簡單，沒錯...很簡單

因為分析資料時，需要注意的是整個分析進行前研究對象的定義

以及研究架構，這些確定後，再來只剩下選擇適合的方法了，一

旦方法確定後，R這邊其實就是提供工具，而難的反而是解讀
output

廢話不多說...上菜了

#卡方檢定
chisq.test(x)

#利用費雪精確檢定
fisher.test(x)

's test
mcnemar.test(x)

#計算勝算比
library(vcd)
loddsratio(x,log=FALSE)

-correlation
cor(x, method="pearson")

plot
data(iris);attach(iris)
> qqnorm(Sepal.Length, xlab="Z-scores",ylab="Sepal.length")
> qqline(Sepal.Length)


t.test(y~x,dat)


Res=aov(y~ x,data=data)

#事後檢定
library(asbio)
bonfCI(y,x)
scheffeCI(y,x)


lsdCI(y,x)
tukeyCI(y,x)
dunnettCI(y,x)

# Kruskal-Wallis事後檢定
library(pgirmess)
kruskal.test(y,x,data=data)
kruskalmc(y, x)

#迴歸分析
lm(y~ x, data=data)

shapiro.test(resid) #檢定殘差常態性
library(MASS)
boxcox(reg.model)
bc = boxcox(reg.model,plotit=F)
bc$x[which.max(bc$y)] #求最佳轉換值

待續~~

R軟體趨勢大師論壇：R軟體在中文文字探勘的應用(上)
專題演講重點紀錄，2015年6月29日於台北醫學大學
　
　　資料可分為非結構化資料、半結構化資料跟結構化資料。
舉例來說，Excel檔中每一個欄位是一個變數，此變數不是分類變數就是數值變數，且是已經整理好的，這樣的資料就是結構化資料；而非結構化資料、半結構化資料則需要再經過整理、清理。
　
　　音樂檔、照片檔等則是常見的非結構化資料。有一年給學生的期末報告是要他們做臉形辨識，就是用筆電照下自己的照片，然後讓程式辨識照片是不是筆電的主人。大部分的學生都是將圖檔以10條水平線與10條垂直線的交叉點，看畫素的特質、顏色深淺來做辨識，但有一個學生很天才，在做這樣的作業它只畫了三條線就搞定了，且正確預測率高達96%以上。這三條線是眉毛一條、眼睛一條、鼻子一條，當然要精準掌握這三條線的位置就要使用邊緣偵測軟體，這樣才能精準定出這三條線位置。
　
　　一般人使用了20個變數，但此學生只用了3個變數，可見資料探勘以及文字探勘領域除了傳統的演算法之外,個人的創意與修為也是一個很大的因素。所以平常漫畫、動畫看的越多的，思考越跟別人不一樣的，做出來的東西就有可能比別人還要好。
　
　　有一年教資料探勘，我給他們的期末報告是要他們去分析MIDI音樂檔，MIDI音樂檔與一般我們常聽的MP3檔不一樣，MIDI音樂檔有一定的格式，每一首音樂的樂器、音軌、什麼樣的時間播出什麼樣的音符，這個音符持續了多少秒等等資訊，完全都可由MIDI音樂檔格式中挖掘出來。這幾年來我一直想回答一個問題，什麼樣的歌曲才有辦法變成懷念老歌?有些歌曲的特質是跨世代的，如果可經由分析找出一些pattern出來，那唱片公司就可以拿來當作參考。
　
　　以ptt來講比較棘手的是主文部份，主文這個部份只能抓出一堆文字，問題是這堆文字有沒有意義，它對某些事件是正評還是負評，有沒有包含次要的主題等等，這就不是結構化的東西，我們將之視為半結構化資料。
　
文字探勘與資料探勘的關係：
　　凡是可以使用自動化或半自動化方法對大量資料做分析，找出有意義的關係、模式或規則，都算是資料探勘的技術，所以統計裡面有大概四分之三的技術都包納在資料探勘底下；文字探勘則是先將非結構化資料轉換為結構化資料後，就可藉由資料探勘的技術來從文字、圖檔或音樂萃取出一些資訊。
　
文字探勘的應用：
　　文件的分類、叢集、文字規則(通常是只語意)。語意是動態的(如ptt的文章與回應並不符合語意的邏輯)，如果用過於靜態的思維想要去探索新一代或者是目前網路上的一些意見跟輿情的話，正確預測率就會很糟糕。
　
　　有一部分人拿文字探勘做資訊的整合或者知識的探索，如在臺灣關於醫學方面與文字探勘的結合，有一部分的學者或研究生是著重在如何用文字探勘的技術去自動撈取醫學相關的文件，然後從這些文件中去整理或是從這些文件裡面自動去串接不同文章之間對於相同疾病之間的關聯性，目標主要是要建立一套知識的系統。
　
　　如果擔心以後會有老年癡呆症，玩文字探勘與資料探勘這兩個東西就是很好的藥方。因為不同的人，雖然使用的工具是一樣的，但個人的創意永遠是最重要的。使用同樣的分析軟體，同樣修過資料探勘、文字探勘課程的人，記數是故定的，但是在創造變數的過程，每個人就不一樣，很多創意在分析過程就可達到自我昇華的目的。假設你覺得現在的生活是槁木死灰的話，適度地引入資料探勘或文字探勘分析的經驗跟技術，對於人生會有很大的幫助。

[免費好康]AT&T 網路空間 50G 限時大放送 !!


http://lbear.pixnet.net/blog/post/50262696

【免費好康】AT&T 網路空間 50G 限時大放送 !! @ 耶魯熊＆雪翎翎 の 軟硬兼施 :: 痞客邦 PIXNET :: 　　Dropbox 相信是大家耳熟能詳的雲端服務了，不過剛申請的 Dropbox 可用容量真的是有點少，除非不停的拉朋友來，才會慢慢的增加可用容量，不然就是要花錢了，看是買 Dropbox 的會員，還