kopia lustrzana https://github.com/animator/learn-python
Update Transformers.md
Added Tensorflow output and fixed wrong mentionspull/753/head
rodzic
d81e875a32
commit
251c4d8689
|
@ -189,8 +189,8 @@ transformer = Transformer(
|
||||||
d_model=d_model,
|
d_model=d_model,
|
||||||
num_heads=num_heads,
|
num_heads=num_heads,
|
||||||
dff=dff,
|
dff=dff,
|
||||||
input_vocab_size=tokenizers.pt.get_vocab_size().numpy(),
|
input_vocab_size=64,
|
||||||
target_vocab_size=tokenizers.en.get_vocab_size().numpy(),
|
target_vocab_size=64,
|
||||||
dropout_rate=dropout_rate
|
dropout_rate=dropout_rate
|
||||||
)
|
)
|
||||||
```
|
```
|
||||||
|
@ -205,7 +205,96 @@ output = transformer((src, tgt))
|
||||||
|
|
||||||
O/P:
|
O/P:
|
||||||
```
|
```
|
||||||
|
<tf.Tensor: shape=(64, 50, 64), dtype=float32, numpy=
|
||||||
|
array([[[ 0.78274703, -1.2312567 , 0.7272992 , ..., 2.1805947 ,
|
||||||
|
1.3511044 , -1.275499 ],
|
||||||
|
[ 0.82658154, -1.2863302 , 0.76494133, ..., 2.39311 ,
|
||||||
|
1.0973787 , -1.3414565 ],
|
||||||
|
[ 0.57013685, -1.3958443 , 1.0213287 , ..., 2.3791933 ,
|
||||||
|
0.58439416, -0.93464035],
|
||||||
|
...,
|
||||||
|
[ 0.82214123, -0.51090807, 0.25897795, ..., 2.1979148 ,
|
||||||
|
1.4126635 , -0.5771998 ],
|
||||||
|
[ 0.6371507 , -0.36584622, 0.40954843, ..., 2.0241373 ,
|
||||||
|
1.6503414 , -0.74359566],
|
||||||
|
[ 0.6739802 , -0.39973688, 0.3338765 , ..., 1.6819229 ,
|
||||||
|
1.7505672 , -1.0763712 ]],
|
||||||
|
|
||||||
|
[[ 0.78274703, -1.2312567 , 0.7272992 , ..., 2.1805947 ,
|
||||||
|
1.3511044 , -1.275499 ],
|
||||||
|
[ 0.82658154, -1.2863302 , 0.76494133, ..., 2.39311 ,
|
||||||
|
1.0973787 , -1.3414565 ],
|
||||||
|
[ 0.57013685, -1.3958443 , 1.0213287 , ..., 2.3791933 ,
|
||||||
|
0.58439416, -0.93464035],
|
||||||
|
...,
|
||||||
|
[ 0.82214123, -0.51090807, 0.25897795, ..., 2.1979148 ,
|
||||||
|
1.4126635 , -0.5771998 ],
|
||||||
|
[ 0.6371507 , -0.36584622, 0.40954843, ..., 2.0241373 ,
|
||||||
|
1.6503414 , -0.74359566],
|
||||||
|
[ 0.6739802 , -0.39973688, 0.3338765 , ..., 1.6819229 ,
|
||||||
|
1.7505672 , -1.0763712 ]],
|
||||||
|
|
||||||
|
[[ 0.78274703, -1.2312567 , 0.7272992 , ..., 2.1805947 ,
|
||||||
|
1.3511044 , -1.275499 ],
|
||||||
|
[ 0.82658154, -1.2863302 , 0.76494133, ..., 2.39311 ,
|
||||||
|
1.0973787 , -1.3414565 ],
|
||||||
|
[ 0.57013685, -1.3958443 , 1.0213287 , ..., 2.3791933 ,
|
||||||
|
0.58439416, -0.93464035],
|
||||||
|
...,
|
||||||
|
[ 0.82214123, -0.51090807, 0.25897795, ..., 2.1979148 ,
|
||||||
|
1.4126635 , -0.5771998 ],
|
||||||
|
[ 0.6371507 , -0.36584622, 0.40954843, ..., 2.0241373 ,
|
||||||
|
1.6503414 , -0.74359566],
|
||||||
|
[ 0.6739802 , -0.39973688, 0.3338765 , ..., 1.6819229 ,
|
||||||
|
1.7505672 , -1.0763712 ]],
|
||||||
|
|
||||||
|
...,
|
||||||
|
|
||||||
|
[[ 0.78274703, -1.2312567 , 0.7272992 , ..., 2.1805947 ,
|
||||||
|
1.3511044 , -1.275499 ],
|
||||||
|
[ 0.82658154, -1.2863302 , 0.76494133, ..., 2.39311 ,
|
||||||
|
1.0973787 , -1.3414565 ],
|
||||||
|
[ 0.57013685, -1.3958443 , 1.0213287 , ..., 2.3791933 ,
|
||||||
|
0.58439416, -0.93464035],
|
||||||
|
...,
|
||||||
|
[ 0.82214123, -0.51090807, 0.25897795, ..., 2.1979148 ,
|
||||||
|
1.4126635 , -0.5771998 ],
|
||||||
|
[ 0.6371507 , -0.36584622, 0.40954843, ..., 2.0241373 ,
|
||||||
|
1.6503414 , -0.74359566],
|
||||||
|
[ 0.6739802 , -0.39973688, 0.3338765 , ..., 1.6819229 ,
|
||||||
|
1.7505672 , -1.0763712 ]],
|
||||||
|
|
||||||
|
[[ 0.78274703, -1.2312567 , 0.7272992 , ..., 2.1805947 ,
|
||||||
|
1.3511044 , -1.275499 ],
|
||||||
|
[ 0.82658154, -1.2863302 , 0.76494133, ..., 2.39311 ,
|
||||||
|
1.0973787 , -1.3414565 ],
|
||||||
|
[ 0.57013685, -1.3958443 , 1.0213287 , ..., 2.3791933 ,
|
||||||
|
0.58439416, -0.93464035],
|
||||||
|
...,
|
||||||
|
[ 0.82214123, -0.51090807, 0.25897795, ..., 2.1979148 ,
|
||||||
|
1.4126635 , -0.5771998 ],
|
||||||
|
[ 0.6371507 , -0.36584622, 0.40954843, ..., 2.0241373 ,
|
||||||
|
1.6503414 , -0.74359566],
|
||||||
|
[ 0.6739802 , -0.39973688, 0.3338765 , ..., 1.6819229 ,
|
||||||
|
1.7505672 , -1.0763712 ]],
|
||||||
|
|
||||||
|
[[ 0.78274703, -1.2312567 , 0.7272992 , ..., 2.1805947 ,
|
||||||
|
1.3511044 , -1.275499 ],
|
||||||
|
[ 0.82658154, -1.2863302 , 0.76494133, ..., 2.39311 ,
|
||||||
|
1.0973787 , -1.3414565 ],
|
||||||
|
[ 0.57013685, -1.3958443 , 1.0213287 , ..., 2.3791933 ,
|
||||||
|
0.58439416, -0.93464035],
|
||||||
|
...,
|
||||||
|
[ 0.82214123, -0.51090807, 0.25897795, ..., 2.1979148 ,
|
||||||
|
1.4126635 , -0.5771998 ],
|
||||||
|
[ 0.6371507 , -0.36584622, 0.40954843, ..., 2.0241373 ,
|
||||||
|
1.6503414 , -0.74359566],
|
||||||
|
[ 0.6739802 , -0.39973688, 0.3338765 , ..., 1.6819229 ,
|
||||||
|
1.7505672 , -1.0763712 ]]], dtype=float32)>
|
||||||
|
```
|
||||||
|
```
|
||||||
|
>>> output.shape
|
||||||
|
TensorShape([64, 50, 64])
|
||||||
```
|
```
|
||||||
|
|
||||||
### PyTorch
|
### PyTorch
|
||||||
|
|
Ładowanie…
Reference in New Issue