Messay

cassandra建表异常处理

Mar 8, 2018

今天需要在cassandra建立一个新表用作英文spu匹配，报错如下：

1
2
3

Warning: schema version mismatch detected, which might be caused by DOWN nodes; 
if this is not the case, check the schema versions of your nodes in system.local and system.peers. 
OperationTimedOut: errors={}, last_host=host

初步判断应该是cassandra节点数据异常，使用nodetool工具修复之，再次建表无异常。

1	./nodetool repair

cassandra还是建议定时repair，防止出现数据异常.

...阅读全文

使用百度翻译API翻译数据示例

Mar 2, 2018

公司使用电商分析平台需要英文版，商品spu数据需要翻译。调研几个平台的翻译API：有道，google，百度，最后选择百度（并不是因为百度翻译的好，而是百度不要钱！）

示例代码如下：

#/usr/bin/env python
# -*- coding:utf-8 -*-

import json
import httplib
import md5
import urllib
import random

appid = '' 
secretKey = ''
httpClient = None
fromLang = 'zh'
toLang = 'en'

infos = [] # 待翻译
results = {}

def make_file(filename):
    num = 0
    with open(filename, 'w+') as f:
        for info in infos:
            myurl = '/api/trans/vip/translate'
            q = info.strip()
            salt = random.randint(32768, 65536)
            sign = appid+q+str(salt)+secretKey
            m1 = md5.new()
            m1.update(sign)
            sign = m1.hexdigest()
            myurl = myurl+'?appid='+appid+'&q='+urllib.quote(q)+'&from='+fromLang+'&to='+toLang+'&salt='+str(salt)+'&sign='+sign
            try:
                httpClient = httplib.HTTPConnection('api.fanyi.baidu.com')
                httpClient.request('GET', myurl)
                response = httpClient.getresponse()
                result = json.loads(response.read())['trans_result'][0]['dst'].encode('utf-8')
                results["data"] = result
                line = json.dumps(results)
                f.write(line + '\n')
                num += 1
                if num % 1000 == 0:
                    print('success {}'.format(num))
            except Exception, e:
                print e
            finally:
                if httpClient:
                    httpClient.close()

if __name__ == "__main__":
    filename = 'trans.json'
    make_file(filename)

...阅读全文

二分查找和常用排序Python实现

Feb 25, 2018

明白查找和排序基本原理，但是一直手写不出来。手打一遍，帮助记忆。

二分查找：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# author: nemo_chen
# 二分查找Python实现

def binary_search(arr, key):
    start = arr[0]
    end = arr[-1]
    while start <= end:
        mid = start + (end - start) / 2
        if arr[mid] > key:
            start = mid -1
        elif arr[mid] < key:
            start = mid + 1
        else:
            return mid

...阅读全文

牛顿迭代法计算平方根(Golang,Python实现)
Feb 6, 2018
题目：
- 牛顿法是通过选择一个初始点 z 然后重复这一过程求 Sqrt(x) 的近似值：
- 为了做到这个，只需要重复计算 10 次，并且观察不同的值（1，2，3，……）是如何逐步逼近结果的。然后，修改循环条件，使得当值停止改变（或改变非常小）的时候退出循环。
- 牛顿迭代法的原理很简单，其实是根据f(x)在x0附近的值和斜率，估计f(x)和x轴的交点，看此动态图：
- 提示：定义并初始化一个浮点值，向其提供一个浮点语法或使用转换：
1
2
z := float64(1)
z := 1.0
...阅读全文

使用Python操作redis方法总结

Jan 29, 2018

分布式爬虫使用的是Scrapy+Redis的架构，使用Python操作的redis的方法，总结一下。

Python操作redis

redis模块提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py（官方建议使用StrictRedis）。
示例代码如下：

$ pip install redis

使用redis：
>>> import redis
>>> pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)   
>>> r = redis.Redis(connection_pool=pool)

使用StrictRedis
>>> pool = redis.ConnectionPool(host='127.0.0.1', port=6379)
>>> r = redis.StrictRedis(connection_pool=pool)

...阅读全文

python实现10个随机整数序列几种方法
Jan 18, 2018
- numpy模块：numpy.random.randint(low[, high, size]) 返回随机的整数，位于半开区间 [low, high)。
  1
  2
  import numpy as np
  relist = np.random.randint(10,size=10)
- numpy模块：numpy.random.permutation(x)返回随机序列
  1
  2
  import numpy as np
  relist = list(np.random.permutation(10))
...阅读全文
centos升级glibc，编译过程及问题注意
Jan 12, 2018
centos升级glibc2.14，编译过程及问题注意
买了一台小鸡搭ss，因为是openvz的机器，无法安装kvm的加速，于是装了个OpenVZ改google bbr的加速。因为glibc版本过低，无法安装，于是升级，此为前提。
特别注意：请勿在生产环境或者没有备份数据的情况下升级glibc
- 使用源代码方式升级 Glibc 是需要小心考虑的事情，因为整个系统几乎所有应用程序都依赖于原有的动态库，升级的时候，执行”make install”命令会打断旧的动态库链接，改为指向新的库文件。在这个过程中，不同的链接指向新旧不同版本的库文件，很容易导致系统崩溃，崩溃后，一般是无法重新启动的。
安装glibc过程：
1. 查看系统glibc库版本可使用如下命令:
  1
  $ strings /lib64/libc.so.6 |grep GLIBC_
...阅读全文
2017年终总结
Dec 31, 2017
关于工作
1. 工作依然在努力。
2. 2017年是来到上海的第二个年头，不知不觉一年就过去。今年换了一份新工作，总算是脱离之前不清不楚的工作范围。现在的工作是Python开发+运维。
3. 刚毕业的时候做简单的helpdesk的时候，也没想到能走到今天写代码的这一步。当积累了知识越多，就会发现缺少的知识更多。特别是IT这个行业，更需要持续不断的学习。
4. 大专毕业5年，一路走来，每个阶段都是自己独自度过，颇为坎坷。明年会往后端方向努力，争取能做个后端开发，或者运维开发一类的工作，希望这能成为以后长期发展的方向。
...阅读全文
Mac 10.12报错:Click More Info… to visit the Java Developer Kit download website.解决方法
Dec 20, 2017
...阅读全文
升级vmware14，Not enough physical memory报错解决方法
Dec 15, 2017
- 使用debian，一时手贱update了下系统，vmware虚拟机无法使用,升级vmware版本，仍报错‘Not enough physical memory’，求助google，解决。
- 大概原因是vmware有个限制的physical memory的设定，不让intel的显卡开启3d加速一类的功能，解除这个限制，更新了就ok了，命令如下：
...阅读全文

今天需要在cassandra建立一个新表用作英文spu匹配，报错如下：

初步判断应该是cassandra节点数据异常，使用nodetool工具修复之，再次建表无异常。

公司使用电商分析平台需要英文版，商品spu数据需要翻译。调研几个平台的翻译API：有道，google，百度，最后选择百度（并不是因为百度翻译的好，而是百度不要钱！）

示例代码如下：

明白查找和排序基本原理，但是一直手写不出来。手打一遍，帮助记忆。

题目：

分布式爬虫使用的是Scrapy+Redis的架构，使用Python操作的redis的方法，总结一下。

Python操作redis

centos升级glibc2.14，编译过程及问题注意

买了一台小鸡搭ss，因为是openvz的机器，无法安装kvm的加速，于是装了个OpenVZ改google bbr的加速。因为glibc版本过低，无法安装，于是升级，此为前提。

特别注意： 请勿在生产环境或者没有备份数据的情况下升级glibc

安装glibc过程：

关于工作

特别注意：请勿在生产环境或者没有备份数据的情况下升级glibc