An implementation of the AlphaZero algorithm for Gomoku (also called Gobang or Five in a Row)

Traceback (most recent call last): File "human_play.py", line 75, in run() File "human_play.py", line 59, in run policy_param = pickle.load(open('best_policy_8_8_5.model', 'rb')) ImportError: No module named 'numpy.core.multiarray\r'

conv2d in Tensorflow now only support data_format='channels_last', so just change "channels_first" to "channels_last" and add tf.transpose(self.input_states, [0, 2, 3, 1]) for input placeholder.

state_dict in pytorch is a dict while params trained with theano dumped as list. when you want to retrain the model trained with theano, it seems that the model can't be loaded properly. is there any way to solve this?

我在15x15的棋盘上已经跑了4500盘，这个Ai下棋还是非常非常差劲。（四个角轮流下，也不会堵我的子） 噪声，温度，学习率都尝试改过了，没什么作用。通过翻转扩充self-play数据，我觉得这是不可行的。 想问如何现在net改成resnet。。查了下相关资料，一头雾水。。 还有如果把7x7或8x8之类比较小的板训练的Ai应用到更大的15x15之类的，会不会训练快很多呢？（但是目前好像大小不一致是不能这样用的。。）

Dear Junxiao: Thanks very much for sharing your codes on Github. I have learnt a lot from your work.

I am a fan of deep reinforcement learning and I'm still learning it. And your work helps me understand the mechanism of AlphaZero. Meanwhile, I am studying Keras, so I rewrite the "policy_value_net.py" with Keras. I have tested my codes and they passed the test under Keras 2.0.5 with tensorflow-gpu 1.2.1 as backend.

I really hope that I can contribute myself to this project. Honestly wish you can accept this Pull Request. I'm looking forword to your reply.

Yours, Mingxu Zhang

AlphaGo zero和 alphazero 的区别是少了一个eval。self和opt还是一样。AlphaGo zero中是一个步骤一个步骤来。如，在我们的单机电脑中，是先self生成数据，然后再opt训练数据。再eval评估。我们不能同时进行这三个步骤。因为不能刚好连接得上。。。即使alphazero少了eval。但还是要一步一步来啊，要怎么做才能self数据的时候自动的变成opt的模型呢？我想的是self数据完成后直接变成model。然后model又直接self这样不是更快了吗。这样我们就可以美美的睡觉第二天起来，直接能用上更好的model了。如：https://github.com/chncyhn/flappybird-qlearning-bot

play_data=[1,2]，data_buffer为空队列的话，执行self.data_buffer.extend(play_data)想要的结果是data_buffer=[1,2]，（1,2分别为训练数据[s,矩阵,z]）,但实际结果会不会是data_buffer = [[1,2]]? 是不是应该把play data里的每一项提出来append到data buffer后面？

    def update_recursive(self, leaf_value):
        """Like a call to update(), but applied recursively for all ancestors.
        """
        # If it is not root, this node's parent should be updated first.
        if self._parent:
            self._parent.update_recursive(-leaf_value)
        self.update(leaf_value)

Support Tensorflow, already comment out the changes specific for Tensorflow.

Though I am still a N00b, I really like this repro, which is a super clear and easy learning materials :)

The source code for the protocol can be found here: https://github.com/stranskyjan/pbrain-pyrandom/blob/master/pisqpipe.py

Then it can be used with the Piskvork gomoku manager to compare with other engines like http://www.aiexp.info/pages/yixin.html (which is presently the top gomoku engine)

把作者的代码读了一遍，觉得有个地方有问题。 按照我的理解作者这里把每局的replay简单的所有局面赋予了相同的z值，我按一种分支走法走到底，如果这局白棋赢了，对于这一局的所有states都赋予白棋赢的标签。

然而任何一篇alphago论文都不是这么干的，包括alpha lee的文章， 一开始就是有把单次搜索（可能是几千几万盘end_game）做一个统计，才能得出一个当前局面的value或者action的监督信号。 我觉得这可能是这个项目训出来的ai不怎么强的原因。

具体训练数据的生成，标签统计应该如何做，可以参考这一篇文章： https://medium.com/applied-data-science/how-to-build-your-own-deepmind-muzero-in-python-part-2-3-f99dad7a7ad

作者您好，非常感谢您提供的这个非常棒的alpha go zero算法工程！感谢您能够百忙之中抽看去看我的问题：我使用pytroch去训练，发现loss值始终下降不下去，一直在6-7左右徘徊，不知到您是否有遇到过类似的问题？有什么解决的办法吗？（您在先前问题提到的explain_val=0的问题我也遇到过，但大部分情况都是有值的）

根据您往期的回答，您貌似是只在theano上完整训练过网络，我在使用该网络后得到了和您类似的loss曲线，所以我猜测是pytorch和theano的差异导致pytorch训练无法收敛。我将Theano训练出来的权重生成pytorch的权重文件拿来使用后，得到的结果仍然不理想，所以，是不是因为两者在前向传播的过程当中就存在不同？ 我目前使用的版本是pytorch==1.12.0，cpu和gpu都试过，我还在pytroch==0.4.1上尝试过，但是还是没能解决问题。调试超参数貌似也不能很好的解决这个问题

为什么要在'play_data'中反转 input features？

play_data 1:

[[0,0,0], [0,1,0], [0,0,0]] # white
[[0,0,0], [0,0,0], [0,0,0]] # black
[[0,0,0], [0,1,0], [0,0,0]] # action
[[0,0,0], [0,0,0], [0,0,0]] # player

play_data 2:

[[1,0,0], [0,0,0], [0,0,0]] # black
[[0,0,0], [0,1,0], [0,0,0]] # white
[[1,0,0], [0,0,0], [0,0,0]] # action
[[1,1,1], [1,1,1], [1,1,1]] # player