1. 熟练运用常用开发工具如Eclipse、IntelliJ IDEA、PLSQL、PyCharm、XShell
2. 熟练掌握Java基础,熟悉常见数据结构,理解集合类、线程类等
3. 熟悉Python的基础语法、数据类型和流程控制语句,进行爬虫,网络编程
4. 掌握Hadoop集群搭建,熟悉MapReduce工作原理、HDFS读写流程等
5. 熟悉Linux操作系统,能够编写Shell脚本
6. 熟悉Hive数据仓库,掌握分区分桶,能编写HQL语句
7. 熟悉 Kafka 及其组成部分,理解其高吞吐特点
8. 熟悉Flume进行日志采集,并对特殊时段做不同的采集处理方案
9. 了解HTML5、CSS3、JavaScript、JSON、AJAX 等前端技术
10. 了解Oracle、MySQL、HBase等数据库和SQL语言
11. 了解Spark运算机制,能够使用Scala进行数据分析处理