Perceptron Clase 3

 

  UNIVERSIDAD NACIONAL DEL CALLAO Facultad de Ingeniería Industrial y de Sistemas

SBC SB C

PERCEPTRÓN UNICAPA

 

PERCEPTRÓN UNICAPA En 1957 Frank Rosenblat desarrollo el Perceptrón.

El Perceptrón es un tipo de red de aprendizaje supervisado, es decir necesita conocer los valores esperados para cada una de las entradas presentadas. Se utiliza para clasificación de patrones linealmente separables. Un patrón es linealmente separable cuando trazamos una línea en la gráfica, a un lado de la línea quedan valores con 1 y en el otro lado valores con 0, es decir va a clasificar en dos clases diferentes.

 

Figura. 2.12 Cada patrón se clasifica en dos clases diferentes

 

PERCEPTRÓN UNICAPA La topología o arquitectura del perceptrón, una red para monocapa en la que un conjunto de valores como entrada, según el es problema, dar respuesta unarecibe o varios valores de salida. En la figura 2.13, las entradas son x 1, x2, los pesos son w1 y w2, y la salida es y, y, además existe un parámetro adicional adicional llamado umbral, denotado denotado por θ. El umbral se utiliza como factor de comparación para producir la salida. sali da.

Figura 2.13 Arquitectura de un perceptrón con dos entradas y una salida

 

PERCEPTRÓN UNICAPA Una neurona biológica no hace nada, a menos que la influencia colectiva de todas sus entradas alcance un nivel de umbral. Siempre que se alcanza tal umbral, la neurona produce una salida de potencia completa, que consiste en un pulso que se desplaza por el cuerpo de célula, pasa por el axón, hasta las ramas de éste, en este caso se dice que la neurona se dispara. Debido a que una neurona se dispara o no hace nada, se dice que este es un dispositivo de todo o nada. Para que el perceptrón se dispare o active, la suma de las señales de entrada, multiplicadas por su respectivo peso debe de ser mayor al umbral, es decir: ∑wixi > umbral

 

PERCEPTRÓN UNICAPA Llamamos θ al umbral, y considerando 2 entradas y dos pesos obtenemos:   w1x1 + w2x2 > θ …….. (1) Restando θ a ambos miembros de la ecuación 1 obtenemos:   w1x1 + w2x2 + (-θ) >0 …. (2) Esta ecuación equivale a introducir artificialmente un nuevo peso θ, que está conectada a una entrada ficticia con un valor constante de -1. Como función de activación usaremos la función f unción escalón.  

f (y) =

1

Si y >0

-1

en otro caso

 

PERCEPTRÓN UNICAPA La salida es binaria, puede ser fácilmente traducible a una clasificación de 2 clases o categorías de la siguiente forma: Si la red produce salida 1, la entrada pertenece a la categoría A Si produce 0, la entrada pertenece la categoría Enlaelred caso de dossalida dimensiones la ecuación 1 seatransforma en:B.   w1x1 + w2x2 – θ = 0   (ecuación en si forma canónica) Donde la pendiente es: (-w2/w1) y la ordenada es (θ/w1). 

 

PERCEPTRÓN UNICAPA Consideremos un perceptrón con varias entradas

Figura 2.14. Perceptrón simple

 

PERCEPTRÓN UNICAPA El principal inconveniente del neurón umbral es que no aprende. Donald Hebb (psicólogo) en 1949, propuso un mecanismo de aprendizaje para la neurona biológica, cuya idea básica consiste en que cuando un axón presináptico causa la activación de cierta neurona postsináptica, la eficacia de la que aprendizaje las relacionahebbiano se refuerza. Sesinapsis denomina a aquellas formas de aprendizaje que involucra una modificación en los pesos ∆w ij  proporcional al producto de una entrada j por la salida i de la neurona. ∆wij= ε yix j Siendo ε un parámetro denominado tasa de aprendizaje. El valor de ε varía entre 0 y 1.

 

APRENDIZAJE HEBBIANO Un valordepequeño unentrenamiento, aprendizaje lento, requiriendo un período más grande tiempo de paraε tendremos completar el un valor excesivamente grande puede conducir oscilaciones excesivas de los pesos, no es aconsejable en el proceso de entrenamiento. Haciendo ti = yi, La regla de Hebb puede expresarse como: c omo: ∆w ij= ε tix j Y por lo tanto: wij= wij+ ∆wij= wij+ εtix j w j= w j+ εtix j   Peso anterior Peso actual ε: factor de aprendizaje ti: valor que debe de aprender   x j: entrada

 

PERCEPTRÓN UNICAPA El método aprendizaje de Hebb que las neuronas aprendan a ajustar susde pesos en un entorno depermite aprendizaje. Recordar que los pesos representan la memoria a largo plazo en las RN. Consideremos las funciones lógicas: Disysunción p

q

Conjunción XOR

p v q

p ˄

q

p ϴ q

Condicional p   q

Bicondicional p

 

↔

Negación ~  p

q

f 

f 

 

f 

 

f 

 

f 

 

v

 

v

 

v

vf  v

vf  v

    

vv v

    

f  f  v

   vv   f 

    

vf  v

    

f  f  v

   vf    f 

 

PERCEPTRÓN • Esta neurona puede resolver algunos problemas lógicos, vamos a ver la

compuerta AND Entrada

Salida

Entrada

Salida

x1 0

x2 0

t 0

X1 -1

x2 -1

t -1

0

1

0

-1

1

-1

1

0

0

1

-1

-1

1

1

1

1

1

1

w1= 0.32593, w2 = 0.05803, θ = 0.84093, ε=0.5

 

APRENDIZAJE HEBBIANO w1= 0.32593, w2 = 0.05803, θ = 0.84093, ε=0.5.

 

APRENDIZAJE HEBBIANO 1 wyi=x = 0.32593, w2 = 0.05803, θ = 0.84093, ε=0.5 1w1+ x2w2+ θ Para la entrada (-1,-1) salida -1 y1=((-1 y1= -1))*0.32593+ (-1 -1))*0.05803 +( +( -1  -1))*0.84093 = -1,22489 -1 La clasificación es correcta (t=-1, y=-1), los pesos no serán modificados.  

Para la entrada (-1,1) salida -1 y2= (-1 -1))*0.32593+ (1)*0.05803 +( +( -1  -1))*0.84093 = -1,10883 -1  La clasificación es correcta (t=-1, y=-1), los pesos no serán modificados Para la entrada (1,-1) salida -1  y3= (1)*0.32593+ (-1 -1))*0.05803 +( +( -1  -1))*0.84093 = -0,57303

-1

 La clasificación es correcta (t=-1, y=-1), los pesos no serán modificados

 

APRENDIZAJE HEBBIANO Para la entrada (1,1) salida 1

(w1= 0.32593, w2 = 0.05803, θ = 0.84093, ε=0.5)

yi=x1w1+ x2w2+ θ y4=(1)* 0.32593+ ( y4=( 0.32593+ (1 1)*0,05803+ (-1 -1))* 0.84093 = -0,45697 -1 La clasificación es incorrecta (t=1, y=-1), los pesos serán modificados. Se recalcula los pesos: wj= wj= wj+ εtixj   w1 = 0,32593 + (0.5)*(1)*(1) = 0.82593 0.82593 w2 = 0.05803 + (0.5)*(1)*(1) = 0,55803 θ = 0.84093 + (0.5)*(1)*(-1) = 0.34093

Empezamos de nuevo  

 

APRENDIZAJE HEBBIANO Perceptrón con nuevos pesos: (w 1= 0.82593, w2 = 0.55803, θ = 0.34093, ε=0.5) Entradas

 

APRENDIZAJE HEBBIANO Para la entrada (-1,-1) salida -1 (w1= 0.82593, w2 = 0.55803, θ = 0.34093, ε=0.5) yi=x1w1+ x2w2+ θ y1=(-1)*0.82593+ (-1)*0.55803 +( y1=( +( -1  -1))*0.34093 = -1,72489 -1 La clasificación es correcta (t=-1, y=-1), los pesos no serán modificados. Para la entrada (-1,1) salida -1 y2= (-1 -1)* )*0.82593+ 0.82593+ (1)*0.55803 +( +( -1  -1))*0.34093 = -0,60883 -1 La clasificación es correcta (t=-1, y=-1), los pesos no serán modificados   Para la entrada (1,-1) salida -1 y3= (1)*0.82593+ (-1 -1))*0.55803 +( +( -1  -1))*0.34093 = -0,07303 -1 La clasificación es correcta (t=-1, y=-1), los pesos no serán modificados   Para la entrada (1,1) salida 1 y4=((1)* 0.82593+ (1)*0,55803+ (-1 y4= -1))* 0.34093 = 1,04303 1 La clasificación es correcta (t=1, y=1), los pesos no serán modificados.

 

PERCEPTRÓN UNICAPA Graficamos la ecuación de la recta.  w1 = 0.82593, w2= 0,55803, θ = 0.34093 La ecuación: y = w1x1+ w2x2 - θ Hacemos y=0, entonces   w1x1 + w2x2 – θ = 0   (ecuación en si forma canónica) Usando interceptos:   x1=0 ; = 0.6109  x2=0 ;  

= 0.4127

(0,0.6109) (0.4127,0)

 

PERCEPTRÓN UNICAPA

 Figura 2.18. Recta determinada por el perceptrón, función lógica AND  

 

PERCEPTRÓN UNICAPA Hemos trazado una línea recta, observamos que en un lado de la línea, están los que clasifican con 1 y en el otro lado de la línea los que clasifican con -1. En el punto (1,1) colocamos su salida que es 1. En el punto (1,-1) colocamos su salida que es -1. En En el el punto punto (-1,1) (-1,-1)colocamos colocamossu susalida salidaque quees es-1. -1.

 

 

PERCEPTRÓN - OR • Esta neurona puede resolver algunos problemas lógicos, vamos a ver la compuerta OR

Entrada

Salida

Salida

x1 0

x2 0

t 0

X1 -1

x2 -1

t -1

0

1

1

-1

1

1

1

0

1

1

-1

1

1

1

1

1

1

1

W1= 0.2871; W2=0.5746; Ɵ = 0.7228, Ɛ=0.5  

Entrada

 

APRENDIZAJE HEBBIANO W1= 0.2871; W2=0.5746; Ɵ = 0.7228, Ɛ=0.5

 

PERCEPTRÓN Se propone W1= 0.2871; W2=0.5746; Ɵ = 0.7228, Ɛ=0.5 y=x1w1+x2w2 - Ɵ Para la entrada (-1,-1) Salida -1 Y= (-1) (-1)*0.2871+ *0.2871+ (-1) (-1)*0.5745 *0.5745 +(-1) +(-1)*0.72281= *0.72281= -1.5845 La clasificación es correcta Para la entrada (-1,1) Salida 1 Y= (-1) (-1)*0.2871+ *0.2871+ (1) (1)*0.5746 *0.5746 +(-1) +(-1)*0.7228= *0.7228= -0.4353

-1

-1

La clasificación es incorrecto(t=1, y=-1) los pesos serán modificados se recalculan los pesos: wj= wj+ εtixj W1= 0.2871 +(0.5)*(1)*(-1) = -0,2129 W2= 0.5746 +(0.5)*(1)*(1) = 1,0746   Ɵ =0.7228 +(0.5)*(1)*( +(0.5)*(1)*(-1) -1) = 0,2228 Empezamos de nuevo

 

APRENDIZAJE HEBBIANO W1= -0,2129; W2=1,0746; Ɵ = 0,2228; Ɛ=0.5

 

PERCEPTRÓN Los nuevos pesos:W1= -0,2129; W2=1,0746; Ɵ = 0,2228; Ɛ=0.5 y=x1w1+x2w2 + Ɵ Para la entrada (-1,-1) Salida -1 Y= (-1 -1))*(-0.2129)+ (-1 -1))*(1,0746) +( +(-1 -1))*0.2228= -1.0845 La clasificación es correcta Para la entrada (-1,1) Salida 1 Y= (-1 -1))*(-0.2129)+ (1)*(1,0746) +( +(-1 -1))*0.2228= 1,0647 La clasificación es correcta Para la entrada (1,-1) Salida 1 Y= (1)*( -0.2129)+ (-1 -1))*(1,0746) +( +(-1 -1))*0.2228= -1,0845

-1

1

-1

La clasificación es incorrecto(t=1, y=-1) los pesos serán modificados se recalculan los pesos:wj= wj+ εtixj W1= -0.2129 +(0.5)*(1)*(1) = 0,2871 W2= 1.0746 +(0.5)*(1) *(-1) = 0,5746   Ɵ =0.2228 +(0.5)*(1) *(-1) = -0,2772 Empezamos de nuevo

W1=0,2871 W2=0,5746 Ɵ = -0,2772

 

APRENDIZAJE HEBBIANO W1= 0,2871; W2=0,5746; Ɵ = -0,2772; Ɛ=0.5

 

PERCEPTRÓN-prueba Se propone W1= 0.2871; W2=0.5746; Ɵ = -0.2772, Ɛ=0.5 y=x1w1+x2w2 + Ɵ Para la entrada (-1,-1) Salida -1 Y= (-1) (-1)*0.2871+ *0.2871+ (-1) (-1)*0.5745 *0.5745 +(-1) +(-1)*0.72281= *0.72281= -0,5845 La clasificación es correcta

-1

Para la entrada (-1,1) Salida 1 Y= (-1) (-1)*0.2871+ *0.2871+ (1) (1)*0.5746 *0.5746 +(-1) +(-1)*0.7228= *0.7228= 0.5647 La clasificación es correcta

1

Para la*0.2871+ entrada(-1) (1,-1) Salida 1 *0.7228=-0,01033 Y= (1) (1)*0.2871+ (-1)*0.5746 *0.5746 +(-1)*0.7228=-0,01033 +(-1)

-1

La clasificación es incorrecto(t=1, y=-1) los pesos serán modificados se recalculan los pesos W1= 0.2871 0.2871 +(0.5)*(1)*(1) +(0.5)*(1)*(1) = 0,7871 W2= 0.5746 +(0.5)*(1)*(-1) = 0,0746  Ɵ = -0.2772 +(0.5)*(1)*(-1) = -0,7772 Empezamos de nuevo

 

APRENDIZAJE HEBBIANO W1= 0,7871; W2=0,0746; Ɵ = -0,7772; Ɛ=0.5

 

APRENDIZAJE HEBBIANO w1=0,7871, w2 = 0.0746, θ = -0,7772, - 0,7772, ε=0.5) y=x1w1+x2w2 + Ɵ Para la entrada (-1,-1) salida -1 y1=(-1)*0.7871+ (-1)*0.0746 +( -1)*(-0.7772) = -0,0845 -1 La clasificación es correcta (t=-1, y=-1), los pesos no serán modificados. Para la entrada (-1,1) salida -1 y2= (-1)*0.7871+ (1)*0.0746 +( -1)*(-0.7772)= 00647 1 La clasificación es correcta (t=1, y=1), los pesos no serán modificados   Para la entrada (1,-1) salida -1 y3= (1)*0.7871+ (-1)*0.0746 +( -1)*(-0.7772) = 1,4897 1 La clasificación es correcta (t=1, y=1), los pesos no serán modificados   Para la entrada (1,1) salida 1 y4=(1)* 0.7871+ (1)*0,0746+ (-1)* (-0.7772) = 1,6389 1 La clasificación es incorrecta (t=1, y=1), los pesos no serán modificados. El aprendizaje ha sido exitoso

 

Algoritmo de perceptron Inicio   Inicializa matriz de entrada   Inicializa vector salidas   Inicializa vector pesos   i=0   Mientras (i0 ) entonces yi=1 Sino yi=0 Fin_si Si (yi = salidas[i]) entonces Escribir ("entrada“,entradas[i][0],“ , “,entradas[i][1],"salida “,salidas[i]," correcto“); Sino // corrección de pesos   Desde k=0 hasta (k