MapReduce--如何设置Reducer的个数

2016年10月16日 9 阅读

1，在缺省情况下，一个mapreduce的job只有一个reducer；在大型集群中，需要使用许多reducer，中间数据都会放到一个reducer中处理，如果reducer数量不够，会成为计算瓶颈。2，reducer的最优个数与集群中可用的reducer的任务槽数相关，一般设置比总槽数稍微少一些的reducer数量；Hadoop文档中推荐了两个公式：0.95*NUMBER_OF_NODES*mapred.tasktracker.reduce.tasks....

MapReduce在倒排索引中练习

2016年10月16日 9 阅读

倒排索引是文件检索系统中常用的数据结构，被广泛应用于全文章搜索引擎。通常情况下，倒排索引由一个单词或词组以及相关的文档列表组成，文档列表中的文档或者是标识文档的ID号，或者是指定文档所在位置的URI；在实际应用中，往往还需要给每个文档加一个权值，用来指出每个文档与搜索内容的相关度；我的例子中，文档内容如下：Hadoop11:/home/in/win1 # hadoop fs -cat /user/root/in1/words.txtmapreduce is...

AVL树及C语言实现

2016年10月16日 9 阅读

概念平衡二叉树（Balanced binary tree）是由苏联数学家Adelson-Velskii and Landis于1962年首先提出的，所以又称为AVL树。定义：平衡二叉树或为空树,或满足如下性质的二叉树:（1）本身首先是一棵二叉搜索树（2）左右子树深度之差的绝对值不超过1;（3）左右子树仍然为平衡二叉树.平衡因子BF=左子树深度－右子树深度.平衡二叉树每个结点的平衡因子只能是1，0，-1。若其绝对值超过1，则该二叉排序树就是不平衡的。通过下面...

AVL树C语言完整实现

2016年10月16日 9 阅读

AVL树的介绍见http://www.linuxidc.com/Linux/2014-04/99733.htm，本文给出的是AVL树的一种实现。采用非递归方式，效率较好，经过常规测试。#include <stdio.h>#include <string.h>#include <stdlib.h>#include <errno.h>#include <assert.h>typedef enum{EH...

AVL树 VS 红黑树

2016年10月16日 9 阅读

平衡二叉树的追求的是全局均衡，如在做插入，删除操作时，需要调整整棵树，显然这是费时的，因此希望在做调整时，是局部调整，因此提出了红黑树，这样一种高效的数据结构（也是最变态的一种数据结构）。红黑树属于非严格意义上的平衡二叉树，说它不严格是因为它不是严格控制左、右子树高度或节点数之差小于等于1。但红黑树高度依然是平均log（n），且最坏情况高度不会超过2log（n），这有数学证明。所以它算平衡树，只是不严格。不过严格与否并不影响数据结构的复杂度。“...

Java 默认事务级别read committed对binlog_format的需求

2016年10月16日 9 阅读

java.sql.SQLException: Cannot execute statement: impossible to write to binary log since BINLOG_FORMAT = STATEMENT and at least one table uses a storage engine limited to row-based logging. InnoDB is limited to row-logging when tr...

Linux下关于时间概念的C语言编程

2016年10月16日 9 阅读

Abstract在程序中，经常需要输出系统的当前时间、计算程序的执行时间、使用计时器等。Introduction一、时间的类型1.格林威治标准时间coordinated universal time（UTC）是世界标准时间，即常说的格林威治标准时间（greenwich mean time,GMT）.2.日历时间日历时间（calendar time）是用"一个标准时间点（如1970年1月1日0点）到此时经过的秒数"来表示的时间.二、时间函数的API 时间函...

C++中的向上类型转换和向下类型转换

2016年10月16日 9 阅读

在C++的世界中有这样两个概念，向上类型转换，向下类型转换，分别描述的是子类向基类和基类向子类的强制类型转换。向上强制类型转换切割：覆盖方法和子类数据丢失的现象生成切割（slice）。class Base{public:int b;virtual void Test（）{cout << "base" <<endl;}};class Derived:public Base{public:int d;virtual void Test（...

Qt实现自定义按钮的三态效果

2016年10月16日 9 阅读

好久之前做的一个小软件，好长时间没动过了，在不记录下有些细节可能都忘了，这里整理下部分功能的实现。按钮的三态，指的是普通态、鼠标的停留态、点击态，三态是界面交互非常基本的一项功能，Qt中如果使用的是原始的按钮，三态的效果是有的，鼠标放上去会变色，点击的时候有凹陷的效果，工具栏中的图标也具备三态效果，但是如果自定义的图标这个效果就没有了。Qt 的详细介绍：请点这里Qt 的下载地址：请点这里推荐阅读：Ubuntu 环境下Gtk与QT编译环境安装与配置 http...

Qt Creator 窗体控件自适应窗口大小布局

2016年10月16日 9 阅读

常见的软件窗口大小改变（最大化、手动改变时）需要窗口的部件能够自适应布局，而在Qt的应用程序界面设计中，对于像我一样的初学者如何实现窗口自适应调整还是要绕点弯路的。网上百度了很多，多数说的很含糊，还有很多是用程序实现的，既然已经有Qt Creator那么高集成度的工具了，我还是倾向于直接在Qt Creator中通过可视化配置的方式完成，一是所见即所得，而是效率要高不少。Qt 的详细介绍：请点这里Qt 的下载地址：请点这里推荐阅读：Ubuntu 环境下Gtk...

嵌入式Linux中GPS信息读取与处理

2016年10月16日 9 阅读

GPS协议概要GPS模块使用的是NMEA-0183 协议，NMEA-0183 是美国国家海洋电子协会（National MarineElectronics Association）所指定的标准规格，这一标准制订所有航海电子仪器间的通讯标准，其中包含传输资料的格式以及传输资料的通讯协议。所以通常情况下，只需要通过串口读取信息，通过字符串解析的方式把需要的数据分离出来就可以得到GPS数据。具体的协议内容可以参见本文附录的参考资料，在具体的的字符串解析中，实际只...

OpenCV 实现人脸检测与相关知识整理

2016年10月16日 9 阅读

开发配置OpenCV的例程中已经带有了人脸检测的例程，位置在：OpenCVsamplesfacedetect.cpp文件，OpenCV的安装与这个例子的测试可以参考我之前的博文Linux 下编译安装OpenCV。网上能够找到关于OpenCV人脸检测的例子也比较多，大多也都是基于这个例程来更改，只是多数使用的是OpenCV 1.0的版本，而OpenCV2.0以后由于模块结构的更改，很多人并没有将例程运行起来。如果是新版的OpenCV跑旧的例程，编译运行出错的...

Qt 中获取本机IP地址

2016年10月16日 9 阅读

想在Qt界面上显示获取的ip地址，查了一下Qt的帮助资料，实现也相对简单，帮助文档中说明如下，还有其他更多的函数也没有细看，先用着再说。Qt 的详细介绍：请点这里Qt 的下载地址：请点这里推荐阅读：Ubuntu 环境下Gtk与QT编译环境安装与配置 http://www.linuxidc.com/Linux/2013-08/88539.htmLinux系统下QT环境搭建 http://www.linuxidc.com/Linux/2013-07/87576...

OpenCV在ARM上的移植

2016年10月16日 9 阅读

与X86 Linux类似，请参考： Linux 下编译安装OpenCV 本文在此基础上进行进一步操作。网络上很多移植编译的方法比较老，多数针对OpenCV 1.0，而且方法很麻烦，不仔细操作很容易出错，我的方法是尽可能的利用现成的工具，尽量图形化界面配置操作，方便编译配置。Qt 的详细介绍：请点这里Qt 的下载地址：请点这里推荐阅读：Ubuntu 环境下Gtk与QT编译环境安装与配置 http://www.linuxidc.com/Linux/2013-0...

在 Go 语言中，正确的使用并发

2016年10月16日 9 阅读

Glyph Lefkowitz最近写了一篇启蒙文章，其中他详细的说明了一些关于开发高并发软件的挑战，如果你开发软件但是没有阅读这篇问题，那么我建议你阅读一篇。这是一篇非常好的文章，现代软件工程应该拥有的丰富智慧。从多个花絮中提取，但是如果我斗胆提出主要观点的总结，其内容就是：抢占式多任务和一般共享状态结合导致软件开发过程不可管理的复杂性， 开发人员可能更喜欢保持自己的一些理智以此避免这种不可管理的复杂性。抢占式调度对于哪些真正的并行任务是好的，但是当可变状...

Zookeeper API JAVA 解析

2016年10月16日 9 阅读

常用方法：new ZooKeeper（）构造方法createexistsgetChildrengetData注意点：watcher 的触发，为一次性。测试程序package zookeeper;import java.io.IOException;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.KeeperException;i...

Lua中常量的实现及表的深拷贝实现

2016年10月16日 9 阅读

lua中默认是没有c中的const常量的，在csdn上找到了一个使用setmetatable。主要原理就是重载__index方法（相当于get方法）和__newindex方法（相当于set方法）。但是他实现的是不支持表中有表的情况的。下面是我修改后的代码：function newConst（ const_table ） --生成常量表功能 function Const（ const_table ） local mt = { __i...

为Silverlight 提供将Json解析为Geometry的方法

2016年10月16日 9 阅读

在做SOE开发的时候，我们往往返回的是一个集合对象的Json字符串，可是Silverlight中并没有为我们提供解析该字符串的方法，为此我自己写了一个，因为后台代码正在测试，所以将前端的Json格式解析为Silverlight中的Geometry对象如下，如有疑问，请跟我联系。/// <summary> /// 将返回的json解析为Geometry,不考虑坐标包含M和Z，如果考虑，请改动即可。将ArcObjects的Geometry转为...

ArcObjects中的IGeometry转成Json

2016年10月16日 9 阅读

昨天发了将Json格式的描述转换为Web API中的Geometry，今天发一个将ArcObjects中的IGeometry转成Json。private string Geometry2Json（IGeometry pGeo） { int wkid = pGeo.SpatialReference.FactoryCode; ESRI.ArcGIS.Geometry.IPoint pPoint = null; ESRI.Ar...

ArcGIS 10.1 for Server 如何使用10或者之前的切片

2016年10月16日 9 阅读

相信很多人都做过这样的操作，在Server 9.3.1 的时候发布了一个切片服务，然后升级到了Server10，升级后使用旧版本发布的切片服务，或者在另一台新机器上使用这些切片，我们完全不必重新将地图切一次，我们可以继续使用以前切好的地图切片，操作也很容易，只需要随便发布一个地图服务，定义切片的结构，也就是生成切片的缓存方案XML文件（当然要和以前的切片结构是一样的），然后用以前的切片直接覆盖到新的切片目录中对应的目录。升级到ArcGIS 10.1 for...