[résolu] test de Kolmogorov-Smirnov (statistiques)

geantick · Le 18/05/2006, à 19:08

salut,

est ce quelqu'un sait si il est possible de faire un test de Kolmogorov-Smirnov sous openoffice où éventuellement me proposer un logiciel capable de faire çà (sans trop de prise de tête) sous ma distrib préféré

merci d'avance

ps: c'est un test pour vérifier si une distribution de variables est gaussienne ou non.

Dernière modification par geantick (Le 22/05/2006, à 13:03)

Black_pignouf · Le 18/05/2006, à 19:51

Salut!

cf http://forum.ubuntu-fr.org/viewtopic.php?id=24777

Sciences
Maxima (Maxima permet de faire du calcul sur les polynômes, les matrices, de l’intégration, de la dérivation, du calcul de séries, de limites, résolutions de systèmes,d’équations différentielles, etc..., EN)
R (comporte de nombreuses fonctions pour les analyses statistiques et les graphiques, EN)
SciLab(SCILAB est un logiciel capable, comme une super calculette, de faire du calcul de matrices, de résoudre des équations différentielles, d’afficher des courbes (2D et 3D)..., EN)
Octave (équivalent de Matlab et Scilab mais 100% compatible Matlab, EN)

je n'ai pas vérifié, mais ca doit être amplement dans les cordes de Scilab ou de R.
Sous open office, je ne sais pas!

pépère · Le 18/05/2006, à 21:30

R le fait !

Enfin, presque, je crois qu'il ne fait pas ce test dans sa configuration de base. Il faut :
- soit chercher dans le site de R le paquet qui le fait
- soit utiliser la fonction du logiciel S-plus (propriétaire) que j'ai adapté pour R (c'était simple, je ne veux pas me vanter)

Dans les 2 cas, si tu veux de l'aide, il faut attendre un peu jusqu'à demain que je sois devant mon ordi au boulot si tu veux un peu d'aide...

geantick · Le 18/05/2006, à 21:39

scilab et octave je suis un peu airmetique à leurs interfaces, maxima je ne suis pas sur qu'il le fasse.

je vais donc m'orienté sur R j'ai deja telecharger le tar.gz et je vous tiens au courant.

bien evidament pour moi le plus simple serait de n'avoir qu'a faire un copié collé de mes données mais bon ^^

merci à vous 2

Dernière modification par geantick (Le 18/05/2006, à 22:02)

pépère · Le 18/05/2006, à 22:23

Hey !
R est dispo dans synaptic !

pépère · Le 18/05/2006, à 22:30

ah, je me suis trompé (j'ai confondu, désolé, c'est la nuit...)

Ce test est dispo dans R : ks.test()

Installe R (via synaptic, c'est le plus simple)
Pour importer une table de donnée, enregistre d'abord tes données en format .csv.

Puis tu ouvres un terminal et tu tapes R.

Ensuite, pour importer ta table de données dans R, tu tapes

tatable <- read.table("/cheminverstatable/tatable.csv", header = T, sep = ";", dec = ",")

Attention, si tu n'as pas de nom sur la première ligne de ta table, il faut mettre header = F. Si les virgules des chiffres décimaux sont en fait des points, il faut mettre dec = "."

Normalement, ta table a été importée...

Ensuite, pour faire ton test, il faut que tu regardes comment marche la fonction. Il suffit de taper ?ks.test, et l'aide s'affichera pour voir comment l'utiliser.

strataoïde · Le 19/05/2006, à 00:28

Personellement, j'ai installé R depuis le dépot du Cran avec synaptic. Mais bon, tous ces logiciels, ça volent un peu au dessus de ma petite tête de futur historien.

##CRAN-R
deb http://cran.cict.fr/bin/linux/debian/ stable/

sinon, pour se faciliter la vie. vous pouvez installer rkward (encore en développement mais de plus en plus prometteur, à compiler depuis les sources pour la version 2.3 de R) ou bien charger Rcmdr. Ça donne un interface graphique pour débuter, mais le prompt ligne de commande reste accessible.

R
library (Rcmdr)

hector · Le 19/05/2006, à 02:17

Sous openoffice je ne pense pas (quasi-sûr même)! le module oOoStat de calc permet juste le test du χ².

geantick · Le 19/05/2006, à 13:00

pour Rcmdr
petit probleme de depance avec deux ne semblants pas etre dans mes depots,

r-cran-rcmdr:
Dépend : r-cran-effects mais ne doit pas être installé
Dépend: r-cran-mgcv (>= 1.1.5)

pour OOostat merci hector je le garde au chaud pour plus tard.

R installé, je le lance je tape ma ligne... et çà donne çà et je ne comprend pas tout (ou alors je n'ai pas envie de faire l'effort de comprendre )

tom_portable:~$ R
R : Copyright 2006, The R Foundation for Statistical Computing
Version 2.3.0 (2006-04-24)
ISBN 3-900051-07-0
R est un logiciel libre livré sans AUCUNE GARANTIE.
Vous pouvez le redistribuer sous certaines conditions.
Tapez 'license()' ou 'licence()' pour plus de détails.
R est un projet collaboratif avec de nombreux contributeurs.
Tapez 'contributors()' pour plus d'information et
'citation()' pour la façon de le citer dans les publications.
Tapez 'demo()' pour des démonstrations, 'help()' pour l'aide
en ligne ou 'help.start()' pour obtenir l'aide au format HTML.
Tapez 'q()' pour quitter R.
> lp <- read.table("/home/tom/Desktop/lp.csv", header = T, sep = ";", dec = ",")> lp <- read.table("/home/tom/Desktop/lp.csv", header = F, sep = ";", dec = ",")
> ks.test
function (x, y, ..., alternative = c("two.sided", "less", "greater"),
exact = NULL)
{
pkolmogorov1x <- function(x, n) {
if (x <= 0)
return(0)
if (x >= 1)
return(1)
j <- seq(from = 0, to = floor(n * (1 - x)))
1 - x * sum(exp(lchoose(n, j) + (n - j) * log(1 - x -
j/n) + (j - 1) * log(x + j/n)))
}
alternative <- match.arg(alternative)
DNAME <- deparse(substitute(x))
x <- x[!is.na(x)]
n <- length(x)
if (n < 1)
stop("not enough 'x' data")
PVAL <- NULL
if (is.numeric(y)) {
DNAME <- paste(DNAME, "and", deparse(substitute(y)))
y <- y[!is.na(y)]
n.x <- as.double(n)
n.y <- length(y)
if (n.y < 1)
stop("not enough 'y' data")
if (is.null(exact))
exact <- (n.x * n.y < 10000)
METHOD <- "Two-sample Kolmogorov-Smirnov test"
TIES <- FALSE
n <- n.x * n.y/(n.x + n.y)
w <- c(x, y)
z <- cumsum(ifelse(order(w) <= n.x, 1/n.x, -1/n.y))
if (length(unique(w)) < (n.x + n.y)) {
warning("cannot compute correct p-values with ties")
z <- z[c(which(diff(sort(w)) != 0), n.x + n.y)]
TIES <- TRUE
}
STATISTIC <- switch(alternative, two.sided = max(abs(z)),
greater = max(z), less = -min(z))
if (exact && (alternative == "two.sided") && !TIES)
PVAL <- 1 - .C("psmirnov2x", p = as.double(STATISTIC),
as.integer(n.x), as.integer(n.y), PACKAGE = "stats")$p
}
else {
if (is.character(y))
y <- get(y, mode = "function")
if (mode(y) != "function")
stop("'y' must be numeric or a string naming a valid function")
if (is.null(exact))
exact <- (n < 100)
METHOD <- "One-sample Kolmogorov-Smirnov test"
TIES <- FALSE
if (length(unique(x)) < n) {
warning("cannot compute correct p-values with ties")
TIES <- TRUE
}
x <- y(sort(x), ...) - (0:(n - 1))/n
STATISTIC <- switch(alternative, two.sided = max(c(x,
1/n - x)), greater = max(1/n - x), less = max(x))
if (exact && !TIES) {
PVAL <- if (alternative == "two.sided")
1 - .C("pkolmogorov2x", p = as.double(STATISTIC),
as.integer(n), PACKAGE = "stats")$p
else 1 - pkolmogorov1x(STATISTIC, n)
}
}
names(STATISTIC) <- switch(alternative, two.sided = "D",
greater = "D^+", less = "D^-")
pkstwo <- function(x, tol = 1e-06) {
if (is.numeric(x))
x <- as.vector(x)
else stop("argument 'x' must be numeric")
p <- rep(0, length(x))
p[is.na(x)] <- NA
IND <- which(!is.na(x) & (x > 0))
if (length(IND) > 0) {
p[IND] <- .C("pkstwo", as.integer(length(x[IND])),
p = as.double(x[IND]), as.double(tol), PACKAGE = "stats")$p
}
return(p)
}
if (is.null(PVAL)) {
PVAL <- ifelse(alternative == "two.sided", 1 - pkstwo(sqrt(n) *
STATISTIC), exp(-2 * n * STATISTIC^2))
}
RVAL <- list(statistic = STATISTIC, p.value = PVAL, alternative = alternative,
method = METHOD, data.name = DNAME)
class(RVAL) <- "htest"
return(RVAL)
}
<environment: namespace:stats>
>

je vais regardé plus en profondeur cette apres midi , now it's time to eat

merci à tous

pépère · Le 19/05/2006, à 13:40

alors....

quand tu tapes ks.test, ça te donne juste comment est programmée la fonction.

Si tu veux commencer sérieusement avec R, commence par lire "R pour les débutants" dont je vais te donner le lien dans un prochain edit.

Là, pour t'aider, pourrais tu tapper

names(lp)

Tu me copies colles le résultats. C'est juste le nom de tes différentes variables de ton fichier. Ensuite, dis moi la signification de chaque variable, et laquelle tu veux tester. Je te dirais quoi taper... si je peux. OK ?

edit : voilà : http://cran.univ-lyon1.fr/doc/contrib/rdebuts_fr.pdf

Dernière modification par pépère (Le 19/05/2006, à 13:42)

pépère · Le 19/05/2006, à 13:49

par exemple :

Si tu veux savoir si la variable x de ta table lp est gaussienne, tu tapes :

ks.test(lp$x, "pnorm")

Le résultat : la première valeure est la statistique, la seconde et ton petit p, la 3ème te dit dans quelle condition s'est fait le test. Par défaut, le test est bilatéral.

Dernière modification par pépère (Le 19/05/2006, à 13:54)

geantick · Le 19/05/2006, à 13:57

voici ce que me renvoie la commande names:

tom_portable:~$ R

R : Copyright 2006, The R Foundation for Statistical Computing
Version 2.3.0 (2006-04-24)
ISBN 3-900051-07-0

R est un logiciel libre livré sans AUCUNE GARANTIE.
Vous pouvez le redistribuer sous certaines conditions.
Tapez 'license()' ou 'licence()' pour plus de détails.

R est un projet collaboratif avec de nombreux contributeurs.
Tapez 'contributors()' pour plus d'information et
'citation()' pour la façon de le citer dans les publications.

Tapez 'demo()' pour des démonstrations, 'help()' pour l'aide
en ligne ou 'help.start()' pour obtenir l'aide au format HTML.
Tapez 'q()' pour quitter R.

> lp <- read.table("/home/tom/Desktop/lp.csv", header = F, sep = ";", dec = ",")> names(lp)
[1] "V1"

lp est une petite serie juste pour tester.
mais on dirait que je fais une erreur quelque part, ma liste est la suivante:

290
310
321
305
310
345
304
324
318
323
290
361
307
305

Dernière modification par geantick (Le 19/05/2006, à 14:00)

pépère · Le 19/05/2006, à 13:59

tapes ks.test(lp$V1, "pnorm")

pépère · Le 19/05/2006, à 14:00

Sinon, il y a le test de shapiro pour tester la normalité d'une variable

Tapes dans R ?shapiro.test si tu veux plus de renseignement...

pépère · Le 19/05/2006, à 14:01

Pourquoi ta liste ne va pas ? c'est pas tes données d'origine ? elle ressemble à quoi ?

geantick · Le 19/05/2006, à 14:02

çà donne çà

names(lp)
[1] "V1"
> ks.test(lp$V1, "pnorm")
One-sample Kolmogorov-Smirnov test
data: lp$V1
D = 1, p-value = 1.383e-12
alternative hypothesis: two.sided
Warning message:
impossible de calculer les p-values correctes avec des ex-aequos in: ks.test(lp$V1, "pnorm")
>

geantick · Le 19/05/2006, à 14:07

pépère a écrit :

Pourquoi ta liste ne va pas ? c'est pas tes données d'origine ? elle ressemble à quoi ?

si c'est une des mes listes, en fait je suis quasi certain que la distribution est normale mais encore faut il le démontrer.

la liste que je test est un peu plus haut.

pépère · Le 19/05/2006, à 14:12

Bon... il semble que selon ta p-value, ta distribution soit différente d'une loi normale..., mais il y a apparemment un pb avec les ex-aequos... Je ne maitrise pas très bien ce test.

Essai le test de shapiro pour tester la normalité (c'est celui que j'utilise) :

shapiro.test(lp$x)

J'obtiens (avec les valeurs de V1 que tu m'as donné) :

        Shapiro-Wilk normality test

data:  x 
W = 0.9038, p-value = 0.1282

Pour voir graphiquement ce que ça donne, tapes :

plot(ecdf(lp$x))

w0 <- seq(290, 360, le = 50)

lines(w0, pnorm(w0, mean(lp$x), sd(lp$x)), lwd = 2, col = "red")

Tes données sont en noir, la courbe théorique en rouge... Tes données semblent suivre à peu près une loi normale, mais bon, y'en a pas bcp....

geantick · Le 19/05/2006, à 14:42

le rpoblème avec le test de shapiro c'est que c'est un test de linéarité et la linéarité d'une courbe reste subjective, c'est la raison pour laquel je me suis porté sur le test de komologorov-smirnov.
il est vrai que mes listes de données sont courtes, j'ai du eliminer pas mal de sujets et maintenant j'ai tout juste le nombre minimal pour pouvoir faire des statistiques qui signifies quelques choses, mais çà c'est une autre histoire.

et effectivement mes données ne suivent pas vraiment parfaitement la courbe.
je fais tester avec d'autres données et d'autres series.
merci pour le lien vers le pdf et d'avoir pris de ton temps pour m'expliquer tout ceci , je te suis redevable

Dernière modification par geantick (Le 19/05/2006, à 14:55)

strataoïde · Le 19/05/2006, à 16:30

pour Rcmdr
petit probleme de depance avec deux ne semblants pas etre dans mes depots,
r-cran-rcmdr:
Dépend : r-cran-effects mais ne doit pas être installé
Dépend: r-cran-mgcv (>= 1.1.5)

Ah, oui, je comprend. En fait, tu as essayé d'installer Rcmdr avec synaptic. Il ne faut pas, R peut se connecter aussi à internet pour chercher dans sa propre liste de dépot pour installer ses packages.
il suffit juste de lancer library (Rcmdr) sous R pour qu'il l'installe.
donc un petit

Sudo R
puis library (Rcmdr)

Il va te demander d'où tu veux télécharger les paquets.
et ça devrait rouler

pépère · Le 19/05/2006, à 17:28

Bon, alors je vois pas trop...

Sauf que pour le ks.test, à bien relire la doc, il faut plutôt écrire :

ks.test(lp$x, "pnorm", mean(lp$x), sd(lp$x))

Afin de comparer la distribution de ton échantillon à celle théorique normale de moyenne et de variance égale à celle de ton échantillon. Désolé, je croyais qu'il le faisait directement sans devoir préciser les paramètres.

Mais y'a tjs ce message d'erreur lié aux doublons...

pépère · Le 19/05/2006, à 17:44

et pis, voilà la fonction que j'avais confondu... en fait, c'est cdf.compare(), une fonction qui fait en gros la mm chose que la série de commande que je t'ai donné pour tracer le graphe :

D'abord, tu copies-colles ça dans R :

cdf.compare <- function(x, y = NULL, distribution = "normal", ...)
{
#
# Un echantillon
if(is.null(y)) {

dist.expanded <- if(!missing(distribution)) char.expand(distribution, c("normal", "beta",
"cauchy", "chisquare", "exponential", "f", "gamma", "lognormal", 
"logistic", "t", "uniform", "weibull", "binomial", "geometric", 
"hypergeometric", "negbinomial", "poisson", "wilcoxon"), stop) else distribution
if((bad.obs <- sum(!(x.ok <- is.finite(x)))) > 0) {
is.not.finite.warning(x)
x <- x[x.ok]
warning(paste(bad.obs, "observations with NA/NaN/Inf in 'x' removed."))
}
nx <- length(x)
pdistn <- switch(dist.expanded,
normal = pnorm,
beta = pbeta,
cauchy = pcauchy,
chisquare = pchisq,
exponential = pexp,
f = pf,
gamma = pgamma,
lognormal = plnorm,
logistic = plogis,
t = pt,
uniform = punif,
weibull = pweibull,
binomial = pbinom,
geometric = pgeom,
hypergeometric = phyper,
negbinomial = pnbinom,
poisson = ppois,
wilcoxon = pwilcox)
discrete <- charmatch(dist.expanded, c("binomial", "geometric", "hypergeometric", 
"negbinomial", "poisson", "wilcoxon"), nomatch = 0)
x.sort <- sort(x)
F.x <- c(0, seq(length = nx)/nx, 1)
eps <- min(diff(x.sort))
little <- floor(x.sort[1]) - eps
big <- ceiling(x.sort[nx]) + eps
plot(c(little, x.sort, big), F.x, ylab = "", type = "s", ylim = c(0, 1), main = paste(
"Empirical and Hypothesized", dist.expanded, "CDFs"), xlab = 
"solid line is the empirical d.f.")
if(discrete) {
eval.pts <- floor(x.sort[1]):ceiling(x.sort[nx])
lines(eval.pts, pdistn(eval.pts, ...), type = "s", lty = 2)
}
else {
eval.pts <- seq(little, big, length = 200)
lines(eval.pts, pdistn(eval.pts, ...), lty = 2)
}
}
else {
#
# deux echantillons
if((bad.obs <- sum(!(x.ok <- is.finite(x)))) > 0) {
is.not.finite.warning(x)
x <- x[x.ok]
warning(paste(bad.obs, "observations with NA/NaN/Inf in 'x' removed."))
}
nx <- length(x)
if((bad.obs <- sum(!(y.ok <- is.finite(y)))) > 0) {
is.not.finite.warning(y)
y <- y[y.ok]
warning(paste(bad.obs, "observations with NA/NaN/Inf in 'y' removed."))
}
ny <- length(y)
F.x <- c(0, seq(length = nx)/nx, 1)
F.y <- c(0, seq(length = ny)/ny, 1)
x.sort <- sort(x)
y.sort <- sort(y)
z.sort <- sort(c(x, y))
eps <- min(diff(x.sort), diff(y.sort))
little <- z.sort[1] - eps
big <- z.sort[nx + ny] + eps
plot(c(little, x.sort, big), F.x, type = "s", ylim = c(0, 1), xlim = c(little, big), 
xlab = paste("dotted line is cdf of", deparse(substitute(y))), ylab = "", main
 = paste("Comparison of Empirical cdfs of", deparse(substitute(x)), "and", 
deparse(substitute(y))))
lines(c(little, y.sort, big), F.y, type = "s", lty = 2)
}
}

Puis tu tapes :

cdf.compare(lp$x, dist = "normal", mean = mean(lp$x), sd = sd(lp$x))

geantick · Le 19/05/2006, à 17:54

pour rcmdr c'est reglé, j'ai desintallé la version 2.3... pour debian que j'avais installé et j'ai installé c'elle de synaptique là c'etait bon ouf:

merci strataoïde pour l'astuce sur l'autoinstallation des librairie, çà me servira surement plus tard

pour les doublons çà se resout en les supprimants tout simplement.

je vais relire un peu la documentation, car cette ligne de code me renvoie une erreur avec certaines données (à mon avis c'est à cause des cases sans valeurs):

ks.test(m40$ved, "pnorm", mean(m40$ved), sd(m40$veg))

ERROR: observations manquantes dans cov / cor

mais sinon effectivement pour la pvalue çà fonctionne mieux un grand merci pour l'aide technique pépère

pour la dernière fonction que tu me donnes çà fait une jolie courbe çà fera beau dans ma présentation ^^

Dernière modification par geantick (Le 19/05/2006, à 18:01)

pépère · Le 19/05/2006, à 18:00

bah de rien...

Bon courage dans ta découverte de R... Et désolé de ne pas t'avoir mieux aidé, y'a des domaines que je connais pas encore très bien.

Je te donne un lien absolumment indispensable :
http://zoonek2.free.fr/UNIX/48_R/all.html

Y'a pas mal de choses...

geantick · Le 19/05/2006, à 18:03

ok merci pour le lien et tu m'as deja très bien aidé, avec çà je suis bien parti

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 18/05/2006, à 19:08

[résolu] test de Kolmogorov-Smirnov (statistiques)

#2 Le 18/05/2006, à 19:51

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#3 Le 18/05/2006, à 21:30

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#4 Le 18/05/2006, à 21:39

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#5 Le 18/05/2006, à 22:23

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#6 Le 18/05/2006, à 22:30

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#7 Le 19/05/2006, à 00:28

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#8 Le 19/05/2006, à 02:17

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#9 Le 19/05/2006, à 13:00

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#10 Le 19/05/2006, à 13:40

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#11 Le 19/05/2006, à 13:49

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#12 Le 19/05/2006, à 13:57

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#13 Le 19/05/2006, à 13:59

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#14 Le 19/05/2006, à 14:00

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#15 Le 19/05/2006, à 14:01

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#16 Le 19/05/2006, à 14:02

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#17 Le 19/05/2006, à 14:07

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#18 Le 19/05/2006, à 14:12

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#19 Le 19/05/2006, à 14:42

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#20 Le 19/05/2006, à 16:30

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#21 Le 19/05/2006, à 17:28

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#22 Le 19/05/2006, à 17:44

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#23 Le 19/05/2006, à 17:54

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#24 Le 19/05/2006, à 18:00

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

#25 Le 19/05/2006, à 18:03

Re : [résolu] test de Kolmogorov-Smirnov (statistiques)

Pied de page des forums