11. IT 前沿技术 笔记

1 云计算

  • 云计算定义与比喻
    • 比喻解释: 将“云”比喻电信网、互联网及底层基础设施
    • 实际概念: 集结大量分布式计算资源, 形成可按需获取的计算与存储资源池
    • 特性: 如同水电煤气, 使用方便、费用低廉, 通过互联网提供服务
  • 云计算的特点
    • 超大规模: 谷歌、亚马逊、IBM 等拥有百万台以上服务器, 提供了极高的运算能力
    • 虚拟化: 用户无需关心应用运行的具体位置, 只需终端设备即可访问所需计算资源
    • 高可靠性: 数据冗余、容错计算确保服务稳定
    • 通用性: 不针对特定应用,使资源的利用率大幅提升
    • 可扩展性: 根据需求动态调整计算资源
    • 廉价性: 自动化管理减少数据中心运维成本
  • 云计算的潜在风险
    • 数据安全与隐私: 数据由第三方云服务商持有, 存在安全与隐私泄露风险
    • 服务垄断: 云计算服务集中在少数大型企业手中, 可能影响社会信用与服务公正性
  • 云计算服务模式
    • 基础设施即服务(IaaS): 提供计算、网络、存储资源, 如亚马逊 AWS、微软 Azure、阿里云、腾讯云
    • 平台即服务(PaaS): 提供开发、测试、运行应用程序的环境, 如亚马逊 AWS、微软 Azure、阿里云、新浪云、腾讯云
    • 软件即服务(SaaS): 通过互联网提供软件应用, 用户无需安装即可使用, 如谷歌、金蝶和用友等
  • 云计算部署方式
    • 公有云: 服务提供商面向公众开放, 用户通过互联网访问服务
    • 私有云: 专为企业内部使用, 可自行管理或第三方托管, 强调数据安全与隐私
    • 社区云: 多个目标相似的组织共享基础设施, 共同分担成本
    • 混合云: 结合公有云与私有云的优势, 实现资源的灵活调配与管理
  • 总结
    • 云计算通过互联网提供按需计算资源, 具有超大规模、虚拟化、高可靠性、通用性、可扩展性及廉价性等特点
    • 面临数据安全、服务垄断等潜在风险
    • 服务模式包括 IaaS、PaaS、SaaS, 部署方式有公有云、私有云、社区云和混合云

2 大数据

  • 大数据定义与历史
    • 定义: 无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合
    • 特点:
      • volumn 大量数据量
      • velocity 高速处理速度
      • variety 多样化的数据类型
      • veracity 真实性
    • 历史背景
      • 1980 年, 阿尔文·托夫勒提出大数据概念
      • 计算机与网络技术限制曾阻碍其发展
      • 随着互联网、移动设备普及, 数据量爆炸性增长
  • 大数据技术
    • 云计算技术
      • 分布式处理
      • 虚拟化技术
      • 海量数据存储与管理
    • 感知技术
      • 传感器技术
      • 指纹识别
      • RFID 技术
      • 坐标定位
  • 大数据特点
    • 数据量大: 如百度每日处理 PB 级数据, Facebook 每日生成 TB 级日志数据
    • 处理速度快: 实时分析大型数据集
    • 数据类型多样: 结构化、非结构化和半结构化数据
    • 真实性: 数据客观、真实
  • 大数据应用领域
    • 互联网
      • 搜索引擎应用
      • 商业机构交易数据与信用数据分析
      • 社交网站用户关系与行为分析
    • 政府
      • 智慧城市交通管理
      • 智慧医疗、环保、城市规划
    • 企业
      • 成本降低与效率提升
      • 新产品开发与业务决策优化
    • 个人
      • 可穿戴设备与植入芯片采集个人信息
      • 运动、购物数据授权给第三方服务进行处理和使用
  • 大数据时代转变
    • 数据为核心: 计算模式从流程为中心转向数据为中心
    • 数据更有价值: 从功能价值转变为数据价值
    • 全数据样本思维: 从抽样到全样本分析
    • 效率与相关性思维: 更关注数据使用效率, 超越因果关系至相关性分析
  • 实例与总结
    • 实例: 社交网络统计显示特定用户群体偏好
    • 总结: 大数据改变生活与理解世界方式, 推动各行各业采用数据驱动思维

3 物联网

  • 物联网概念
    • 由麻省理工学院 Auto-ID 研究中心于 1999 年提出
    • 利用 RFID、二维码等信息传感设备将所有物品与互联网连接
    • 实现智能化识别和管理功能的网络
  • 物联网关键技术
    • 射频识别技术(RFID)
      • 无线通讯技术,通过无线电信号识别特定目标并读取数据
      • 包括 RFID 标签和读写器,标签可附着于物品上
      • 应用于汽车生产线追踪、宠物识别、商品自动辨别和跟踪、门禁系统等
    • 传感器技术
      • 获取自然信息源的相关信息并进行处理和识别的多学科交叉技术
      • 由传感器、通讯、网络和信息处理器构成
      • 实现实时数据采集、监督、控制、信息共享、存储管理等功能
      • 包括光感、声感、压力、温度、加速度定位等多种传感器
    • 纳米技术
      • 在 0.1 纳米到 100 纳米尺度空间操作电子、原子、分子的高技术学科
      • 包括纳米物理学、纳米电子学等领域
      • 目标是按人类意志直接操作单个原子制造特定功能产品
      • 通过纳米传感技术与 RFID 结合,实现小物体的能量获取和集成化
    • 智能技术
      • 指物体的智能,实现物体与物体、物体与人之间的智能交互
  • 物联网特征
    • 全面感知:利用 RFID、传感器、二维码等获取物体信息
    • 可靠传递:通过电信网络与互联网融合实时传递物体信息
    • 智能处理:利用云计算、模糊识别等技术分析和处理海量数据
  • 物联网应用领域
    • 智能家居
    • 智能交通
    • 数字化医疗
    • 智能电力
    • 智慧农业
  • 物联网体系架构
    • 感知层:负责采集物体信息
    • 网络层:负责信息的传输
    • 应用层:实现物联网的具体应用

4 机器学习

  • 什么是机器学习
    • 定义: 让计算机从数据中学习规律和模型, 对新数据进行预测
    • 模拟人类学习过程: 通过实践获得经验和技能
    • 核心: 利用数据训练模型, 实现预测和决策
  • 机器学习的应用实例
    • 手机拍照人脸识别
    • 语音拨号
    • 新闻个性化推送
    • 淘宝找相似商品
    • 交通违章自动识别
    • 基于历史数据预测未来趋势
  • 机器学习问题类型
    • 分类问题
      • 根据特征判断样本属于哪个已知类别
      • 应用: 邮件识别、信用卡欺诈检测、语音识别
      • 算法: 逻辑回归、支持向量机、朴素贝叶斯、深度学习、随机森林
    • 回归问题
      • 根据特征预测连续值
      • 应用: 股票价格预测、电影票房预测、房价预测
      • 算法: 线性回归、最小二乘回归、逐步回归、多元自适应回归样条
    • 聚类问题
      • 在未知类别的情况下, 根据相似性划分数据集
      • 应用: 用户群体划分、文档分类、生物种族划分
      • 算法: K-means、学习向量量化、高斯混合模型、密度聚类
    • 规则学习
      • 提取数据中隐含的规律和规则
      • 应用: 超市商品摆放优化
      • 算法: prise, cn2, ripper
  • 机器学习方式的划分
    • 监督学习
      • 利用已知类别的样本调整分类器的参数
      • 需要带标签的数据作为训练集
      • 应用: 分类问题、回归问题
    • 无监督学习
      • 根据类别未知的样本推断数据内在结构
      • 应用: 模式识别、聚类、规则学习
    • 半监督学习
      • 结合监督和无监督学习, 利用少量带标签和大量无标签数据
      • 应用: 分类问题、回归问题
    • 强化学习(增强学习)
      • 动态学习方法, 通过试错调整行为策略
      • 应用: 动态系统控制、机器人控制
  • 机器学习技术的应用领域
    • 计算机视觉: 人脸识别、车牌识别、手势识别
    • 自然语言处理: 文本理解、情感分析
    • 社会网络分析: 热点发现、引文分析、人际关系
    • 个性化推荐: 电影、音乐、新闻推荐
  • 总结
    • 机器学习通过数据驱动的方式, 解决复杂问题, 改善生活质量
    • 不同类型的问题对应不同的学习方法和算法
    • 机器学习与多领域技术结合, 推动智能领域进步

5 人工智能

  • 人工智能概述
    • 定义:研究和开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统
    • 目标:使计算机能胜任一些过去只有人类智能才能完成的复杂工作
    • 基础:对人类自身活动及其规律的深刻理解
  • 人工智能发展史
    • 关键事件
      • 1950 年:阿兰·图灵提出“机器能思考吗?”及图灵测试
      • 1956 年:达特摩斯会议,人工智能术语首次提出,标志着 AI 正式诞生
      • 1997 年:IBM 的深蓝计算机战胜国际象棋大师,证明 AI 在特定领域的表现
      • 2014 年:聊天程序尤金·古斯特曼通过图灵测试,成为首台“人类化”计算机
      • 2016 年:AlphaGo 战胜世界围棋冠军,推动 AI 进入高速发展期
    • 技术里程碑
      • 图灵测试:评估机器智能的标准
      • 验证码(CAPTCHA):防止自动化系统滥用网站的工具
      • 深度学习:2006 年由杰弗里·辛顿等人提出,基于多层神经网络,用于特征提取和模式识别
  • 人工智能与机器学习、深度学习的关系
    • 机器学习:人工智能的重要实现方式,通过数据学习模式和规律
    • 深度学习:机器学习的新领域,通过多层神经网络实现复杂特征的自动提取和学习
    • 三者关系:深度学习是机器学习的一部分,而机器学习是实现人工智能的关键技术
  • 人工智能的未来
    • 在云计算、大数据和移动互联网的推动下,人工智能迎来黄金时期
    • 计算能力的提升和计算成本的下降,使得高复杂度的人工智能应用成为可能
    • 无监督深度学习的发展,标志着人工智能从有监督学习向更自主学习的转变
  • 技术间的联系
    • 云计算提供强大的计算资源和存储能力
    • 大数据为人工智能提供海量训练数据
    • 物联网生成的实时数据丰富了人工智能的应用场景
    • 人工智能通过深度学习等技术,为人类生活提供更智能化的服务

6 区块链技术

  • 区块链概念
    • 源自中本聪的论文
    • 电子现金系统 (比特币)
    • 基础技术: P2P 网络、加密技术、时间戳技术
    • 注意: 区块链与虚拟数字货币的区别
    • 全球管理视角: 区块链由区块和链构成
    • 比特币区块系统示例
      • 区块头: 包含上一区块哈希值、随机数、交易哈希结果
      • 交易数据: 组织成默克尔树, 根存储在区块头
  • 区块链特征
    • 去中心化: 不依赖第三方管理,也是最突出最本质的特征
    • 开放性: 数据对所有人公开, 接口可查询
    • 独立性: 节点自动验证交换数据
    • 安全性: 数据不可篡改, 避免主观数据变更
    • 匿名性: 节点身份信息无需公开
  • 核心技术
    • 分布式账本: 所有节点保存完整数据
    • 非对称加密: 实现匿名, 提供隐私保护
    • 共识机制: 工作量证明机制(PoW)、权益证明机制(PoS)、股份授权证明机制(DPoS)等
    • 智能合约: 自动执行预设规则和条款
  • 区块链类型
    • 公有链: 开放给任何人使用
    • 私有链: 企业内部使用, 权限受限
    • 联盟链: 若干机构联合发起, 部分去中心化
  • 应用领域
    • 人工智能: 实现点对点直接对接, 降低成本, 快速交易
    • 物联网与物流: 降低物流成本, 追溯生产过程, 提升供应链管理
    • 公共服务: 去中心化技术改造, 方便民众
    • 数字版权: 作品认证, 确保权属真实唯一
    • 保险: 智能合约自动理赔
    • 公益: 数据透明公开, 方便社会监督